
Михаил Кочеров опубликовал на Хабре второй выпуск серии об обучении агента для Atari Frostbite. В игре агент получает видеокадры и должен самостоятельно освоить управление: прыгать по льдинам, собирать иглу, избегать врагов и успеть до окончания таймера замерзания. Чтобы перейти на следующий уровень, персонажу необходимо зайти в построенное иглу.
В предыдущем эксперименте агент на основе свёрточной нейросети и трансформера набрал 779 очков, но не прошёл даже первый уровень. По словам автора, дальнейшее обучение не улучшало результат. В новом выпуске он проверил, поможет ли дополнительная задача — предсказывать представление следующего кадра.
Что изменили в обучении
Идея эксперимента состоит в том, чтобы агент не только выбирал действия, но и учился предвидеть, как изменится игровая сцена. На вход ему поступают четыре кадра, преобразованные в скрытые векторы — латентные представления. Затем модель формирует прогноз для следующего шага. Его сравнивают с представлением реального следующего кадра, а ошибку добавляют к общей функции обучения.
Такой подход должен побуждать модель выявлять объекты и связи между ними: например, различать персонажа и элементы уровня, а также учитывать, как ситуация меняется со временем. Это не означает, что агент получает готовые правила игры или прямую инструкцию «собери иглу и войди в него»: предсказание кадра — вспомогательная задача, а не само прохождение уровня.
Кочеров связывает эту идею с предсказательной обработкой информации мозгом и упоминает работу Рао и Балларда 1999 года. Это объяснительная рамка автора, а не доказательство того, что игровой агент учится тем же способом, что и человек.
Результат оказался ниже прежнего
В описанных автором запусках новая версия набрала 697 очков — меньше, чем предыдущая, с результатом 779. Первый уровень она также не прошла. Автор отмечает, что некоторое преимущество появлялось в начале траектории, но к её концу не сохранялось.
Эти цифры относятся к экспериментам, описанным в статье. В доступном материале нет оснований считать их независимым сравнительным тестом или делать вывод о превосходстве одной архитектуры в целом. Сам автор подаёт предсказание будущего как необходимый, но недостаточный компонент: модель может формировать полезные представления о сцене, но это само по себе не заставляет её чаще выбирать редкое действие, нужное для завершения уровня.
Почему прогноз не равен плану
Для перехода на следующий этап игры агенту нужно не просто распознавать происходящее, а последовательно достигать цели. По рассуждению Кочерова, человеку цель в Frostbite кажется очевидной, тогда как агенту её нельзя считать заранее известной. Предсказание кадров может помочь выучить особенности игрового мира, но в описанном эксперименте не обеспечило нужного поведения.
Дальнейший ход рассуждений автор связывает с созданием условий, в которых полезное действие становится вероятнее. В частности, он рассматривает использование сохранения и загрузки игровых состояний. Однако доступный фрагмент статьи обрывается до подробного описания того, как именно этот подход реализован и к каким итоговым результатам привёл. Поэтому приписывать эксперименту улучшение от такого метода пока нельзя.
Кратко об эксперименте
| Параметр | Что указано в статье |
|---|---|
| Игра | Atari Frostbite |
| Задача агента | Учиться по видеокадрам управлять персонажем и проходить уровни |
| Предыдущий результат | 779 очков; первый уровень не пройден |
| Результат с предсказанием кадров | 697 очков; первый уровень не пройден |
| Следующий вопрос | Поможет ли изменение условий обучения закрепить целевое поведение |
Что следует проверить читателю
Материал может быть интересен тем, кто следит за обучением с подкреплением и экспериментами с игровыми агентами. При этом цифры стоит читать именно как результаты конкретных запусков, изложенные автором: в предоставленном описании нет подробностей о разбросе результатов между повторами, вычислительных затратах или полном сравнении настроек. Нельзя также заключить, что предсказание кадров бесполезно вообще: публикация описывает один этап работы над конкретной задачей.
Для оценки продолжения серии важно сверить, как автор реализует сохранение состояний, какие условия задаёт агенту и приводит ли результаты нескольких сопоставимых запусков. Пока подтверждены только указанные в статье показатели двух версий и факт, что ни одна из них не прошла первый уровень.
Источник: Хабр — https://habr.com/ru/articles/1107874/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1107874