В этой серии статей я кратко расскажу об обучении с подкреплением, обобщив главы из популярной книги Обучение с подкреплением: введение, Ричард С. Саттон и Эндрю Барто, и предоставив примеры кода.
Что такое обучение с подкреплением?
Обучение с подкреплением (RL) — это научение максимизировать вознаграждение методом проб и ошибок.
Ключевые компоненты проблемы RL
Агент. Агент — это то, что действует. Например, в видеоигре это может быть управляемый персонаж, в робототехнике это может быть роботизированная рука и т. д.
Среда. Среда — это среда, в которой действует агент. Это может быть видеоигра наподобие шахмат, в которой агент может наблюдать за положением своих фигур, а также положением фигур противника. Для таких вещей, как самоуправляемые автомобили, их среда может быть реальным миром, в котором агент (автомобиль) может наблюдать за сигналами светофора, пешеходами и другими автомобилями.
Состояния.Состояние — это просто другое слово для наблюдения, возвращаемого из среды. В шахматном примере формальное представление состояния игры может быть списком всех фигур и их позиций на доске.
Награда.Возможно, это самая важная часть любой проблемы с RL. Награда определяет цель проблемы. Вознаграждение дается агенту из среды для поощрения или наказания определенного поведения. Шахматный агент мог получить небольшое положительное вознаграждение за выполнение таких действий, как взятие фигур противника, и большое положительное вознаграждение за победу в игре. Самоуправляемый автомобиль может получить отрицательное вознаграждение за такие действия, как аварии или несоблюдение правил дорожного движения.
Функция ценности. В то время как вознаграждение определяет, что хорошо в краткосрочной перспективе, функции ценности определяют, что хорошо в долгосрочной перспективе. Они делают это, вычисляя ценность пребывания в определенном состоянии с точки зрения максимизации кумулятивного вознаграждения (общее вознаграждение, которое агент получит с течением времени). В сложных условиях может быть лучше отказаться от краткосрочных вознаграждений в обмен на большее долгосрочное вознаграждение (аналогично отложенному вознаграждению).
Действия. Агент должен иметь возможность влиять на окружающую среду, и он делает это, предпринимая действия. Действием может быть перемещение фишки на новое место на доске или увеличение скорости автомобиля.
Политика. Политика определяет поведение агента. Учитывая наблюдение из среды, политика определяет, какие действия должен предпринять агент. По мере того, как агент набирает опыт, он пытается улучшить свою политику, чтобы получить большее совокупное вознаграждение.
Обучение с подкреплением против контролируемого обучения
Тем из вас, кто знаком с классическим машинным обучением и/или глубоким обучением, может быть интересно, чем RL отличается от обучения с учителем (SL).
Основное различие между RL и SL заключается в том, что RL занимается обучением на собственном опыте, а SL — обучением на помеченных примерах.
Цель SL состоит в том, чтобы система обобщала свои ответы s.t. он правильно действует в ситуациях, которых нет в тренировочном наборе. Причина С.Л. нельзя обобщить на интерактивные задачи, заключается в том, что в интерактивных задачах часто нецелесообразно получать примеры желаемого поведения, которые одновременно являются правильными и репрезентативными для всех ситуаций, в которых должен действовать агент.
На неизведанной территории агент должен уметь учиться на собственном опыте.
Обучение с подкреплением против обучения без учителя
RL — это максимальное вознаграждение, в то время как неконтролируемое обучение (UL) — это поиск структур в неразмеченных данных. Поиск структур может быть полезен, но этого недостаточно для решения задачи RL.
Далее мы можем начать рассматривать простую версию задачи RL.
