Обучение с утвърждение

от Уикипедия, свободната енциклопедия
Направо към: навигация, търсене

В контекста на Изкуствения Интелект, терминът "Обучение с утвърждение" (анг. Reinforcement Learning) обозначава група от методи за автоматично самообучение. Тези методи се отличават със способността си да функционират без необходимост от примерни решения на поставения проблем. Обучението протича като последователност от пробни действия, които постепенно водят до утвърждаване на добрите действия и избягване на неподходящите.

Проблеми от този тип често се представят като агент, разположен в някакво обкръжение, който взима решения в зависимост от състоянието на това обкръжение. На свой ред обкръжението реагира с награда или наказание, в зависимост от това колко уместно е било избраното действие.

Резултатът от обучението е оптимална стратегия за действие във всяка ситуация. Стратегията е оптимална ако успява да максимизира сумата от всички награди получени по време на изпълнението си.

История и връзка с други области[редактиране | edit source]

Сред първите алгоритми за Обучение с утвърждение са т.нар. TD-Learning, разработен от Ричард Сътън през 1988, и Q-Learning, разработен 1989 и публикуван 1992 година.

Тези методи са също така свързани с теорията на оптималния контрол. Обучението с утвърждение често пъти се разглежда като дискретен Марковски процес. Агентът взима решения на дискретни стъпки и всяко следващо решение зависи само от текущото състояние на обкръжението, а не цялата история от предишни състояния. Тази формулировка на проблема е въведена от Белман през 1957 година.

Формализъм[редактиране | edit source]

Обучението чрез утвърждение може да се разглежда като комбинация от три елемента:

  • Множество  S , включващо всички състояния на обкръжението които агентът разпознава
  • Множество  A , включващо всички действия, които агентът може да извърши
  • Множество  \Bbb{R} , включващо наградата която агентът може да получи

При дадено състояние s \in S и  a \in A, агентът получава награда  r \in \Bbb{R} Тази функционална зависимост може да бъде записана по следния начин:

 S \times A \rightarrow \Bbb{R}

Целта на агента е да открие такава стратегия  \pi: S \rightarrow A , която максимизира сумарната награда получени на всяка стъпка:

 R = r_0 + r_1 + r_2 + ... + r_N

Обикновено наградата в близките състояния на обкръжението е много по-важна от тази на далечните бъдещи състояния. Тази зависимост може да бъде отрацена чрез въвеждането на коефициент гама:

 R = r_0 + {\gamma}r_1 + {\gamma^2}r_2 + ... + {\gamma^N}r_N

Източници[редактиране | edit source]