Открывая распутанные и компактные представления абстрактных понятий

Как известно большинству специалистов по машинному обучению, основной задачей машинного обучения как области по-прежнему является обеспечение того, чтобы обученные системы обучения были способны обобщать за пределами ограниченных наборов обучающих данных — и люди справляются с этим намного лучше, чем современное современное обучение. системы. Как член исследовательской группы по прикладному машинному обучению в Intuit, я обдумывал идею объединения знаний в предметной области и человеческого взаимодействия с подходами, основанными на данных, чтобы научить системы обучения учиться более эффективно.

На ICML (Международной конференции по машинному обучению) в этом году я наткнулся на вдохновляющее выступление, в котором предлагались инновационные идеи для решения этой проблемы. Это была приглашенная лекция на субботнем семинаре На пути к обучению с ограниченными ярлыками под названием На пути к распутыванию лежащих в основе объяснительных факторов от Dr. Йошуа Бенжио. Учитывая репутацию спикера, неудивительно, что это выступление вызвало большой интерес. Что меня действительно удивило, так это то, что переполнение было настолько значительным, что в середине выступления большую часть аудитории пришлось вывести в сопровождении, чтобы соблюсти правила безопасности объекта. Вот что услышали те из нас, кому посчастливилось остаться на весь доклад.

Чего не хватает в глубоком обучении: глубокое понимание

В первой части доклада д-р Бенжио представил конкретные доказательства того, что современные современные модели, основанные на глубоком обучении, склонны фиксировать статистические закономерности в обучающих наборах данных, а не лежащие в их основе причинно-следственные механизмы. В стандартной практике машинного обучения наборы данных для обучения, проверки и тестирования берутся из одного и того же пула (т. е. из одних и тех же статистических распределений). Во многих реальных приложениях, таких как автономное вождение, статистическое распределение фактических входных данных может сильно отличаться от наборов обучающих данных. Это несоответствие объясняет, почему модели, обученные с использованием статических наборов данных, так хорошо обобщаются во время тестирования, но остаются уязвимыми для атак злоумышленников при развертывании в реальном мире. Хотя это наблюдение не удивило бы опытных специалистов по машинному обучению/глубокому обучению, тот факт, что группа доктора Бенжио решила измерить степень, в которой это происходит, впечатляет[1]. (Их подход кратко изложен в приложении.)

К машине, которая планирует

Затем доктор Бенжио рассказал об испытанных и верных стратегиях, которые побуждают обучающиеся системы «узнавать, как устроен мир», включая эквивариантность/инвариантность, симметрии и использование пространственных и временных масштабов. Вдохновленные нейробиологическим подходом к пониманию того, как работает человеческий мозг, эти стратегии пытаются:

  • Захватите «хорошие» внутренние, высокоуровневые, низкоразмерные представления.
  • Максимизируйте независимость среди контролируемых внешних факторов, что приводит к концепции агентов и действий.

Почему захват значимого низкоразмерного представления позволяет делать обобщения? С нейробиологической точки зрения есть свидетельства того, что человеческое мышление по своей природе низкоразмерно, иерархично и сосредоточено на внимании. Человеческий мозг может хранить около семи элементов в рабочей памяти, что мало по сравнению с сотнями измерений внутренних представлений, используемых в современных моделях машинного обучения.

Несмотря на ограничения, это низкоразмерное внимание, основанное на содержании, позволяет людям сосредоточиться на нескольких элементах из большого набора. Недавние открытия нейробиологов показали, что человеческий мозг объединяет бесчисленные когнитивные задачи в структурированные низкоразмерные иерархии. Это позволяет человеку плавно переключаться между меняющимися, но связанными задачами [10]. Низкоразмерная основная динамика человеческого мозга аналогична мета-обучающемуся для связанных задач. Такое метаобучение позволяет обучающимся системам обобщать и адаптироваться к новым задачам с эффективным использованием данных (т. е. за несколько выстрелов) [11]. Что еще более важно, кажущееся огромным разнообразие сценариев естественного мира на самом деле возникает из небольшого набора последовательных правил (например, в физике и химии), которые можно объяснить с помощью абстрактных понятий. Добавляя ограничение низкой размерности в архитектуру модели, обучающие системы могут быть обучены изучению таких значимых иерархических представлений низкой размерности [3].

Почему максимизация независимости от внешних факторов может улучшить обобщение? Можно утверждать, что человеческий мозг может придумать политику контроля, которая влияет на независимые и отдельные аспекты мира. Например, рассмотрим объект, которым мы можем манипулировать/контролировать — скажем, кофейную кружку на столе. Например, можно выполнить два независимых действия над кружкой: 1. повернуть кружку у основания на 90 градусов и 2. наполнить кружку кофе до края. Результат этого первого действия можно назвать «наблюдением за тем, как кофейная кружка выглядит с точки зрения на 90 градусов по часовой стрелке», а результатом второго действия является «наблюдение за вместимостью кружки». Эти независимые пары действие-результат являются максимально независимыми факторами, которые объясняют, как наше восприятие кофейной кружки переходит из исходного состояния (сидения на столе) в два конечных состояния (повернута на 90 градусов, а затем наполнена кофе). Мысленно абстрагируя эти пары действие-результат, человек может обобщить и предсказать конечные состояния кружки после того, как эти независимые действия будут предприняты в любой последовательности или комбинации. Что еще более важно, люди могут распространить такое обобщение за пределы кофейных кружек на любой объект с аналогичными физическими свойствами.

Внутреннее представление пар действие-результат — это то, что мы называем ментальной моделью мира. Мы используем эту ментальную модель, чтобы планировать, действовать и предсказывать результаты наших действий. В области машинного обучения ближайшим аналогом этой идеи являются достижения в обучении с подкреплением, которые показывают, как действовать в реальный мир может помочь в обучении репрезентации и распутывании [4, 5]. (Распутывание означает разделение независимых причин.) Наличие правильного представления об окружающей среде и политика контроля/влияния на ее аспекты являются двумя важными составляющими, которые возникают параллельно и позволяют человеческому разуму обнаруживать, что поддается контролю в мира. И, как отметил д-р Бенжио, это естественным образом приводит к появлению понятия объектов и агентов.

Два Приора

Затем последовали ключевые идеи доклада: два типа априорных факторов, побуждающих обучающиеся системы изучать более глубокие концепции — сознательный априорный уровень[6] и независимые контролируемые объяснительные факторы[7].

Сознательный приор

Короче говоря, сознательное представление можно рассматривать как низкоразмерную комбинацию нескольких (конкретных или абстрактных) понятий, составляющих «мысль». Современные обучающие системы часто обучаются захватывать многомерное представление входного пространства. В Сознательном Предшественнике есть два уровня представления: многомерное «бессознательное (скрытое)» представление (h) и низкомерное «сознательное» представление (с). Низкая размерность сознательного представления служит сильной регуляризацией проблемы обучения. Внимание может быть применено к сознательному и бессознательному состоянию таким образом, что вывод/прогноз системы обучения, синтезированный из бессознательного представления, отображается в простую комбинацию в сознательном представлении. Мы можем думать о внимании как о механизме обучения модели, который побуждает обучающуюся систему обнаруживать сознательное представление, в котором можно «мысленно» манипулировать выученными понятиями и/или ссылаться на них. Следует отметить, что простое поощрение репрезентации более низкого измерения не гарантирует, что обнаруженная/выученная репрезентация является «сознательной» в нейробиологическом смысле.

Независимые контролируемые объясняющие факторы

Идея независимых контролируемых объяснительных факторов заключается в том, что, действуя в реальном мире, обучающаяся система (или агент) может обучаться «распутанным представлениям». Поскольку агент может воздействовать на определенный аспект окружающей среды, не затрагивая других, изученное внутреннее представление должно быть способно различать возмущения, исходящие от независимых факторов. Как и в примере с кофейной кружкой, агент учится связывать свои действия в окружающей среде с внутренними представлениями, которые уникальны для действия и аспекта окружающей среды, на который воздействуют (т. е. с независимыми контролируемыми объяснительными факторами).

Последние мысли

Среди всех лекций ICML, которые я посетил в этом году, эта была самой наводящей на размышления. Вскоре после завершения дня я поспешил обратно в свой гостиничный номер, поднял бумаги [1, 6, 7, 8], на которые ссылались в беседах, и начал погружаться в них. Пока я все еще пытаюсь понять, как применить эти концепции к моей текущей работе, я держу их в своем наборе инструментов для машинного обучения, надеясь, что однажды они станут полезными.

В заключение, вот мои мысли о двух приорах. Размышляя над своим пониманием Сознательного Приоритета, идея использования сознательного пространства более низкого измерения для представления «концепции», кажется, хорошо соответствует нынешнему пониманию того, как мысли возникают в человеческом мозгу. Этот тип машинного обучения должен привести к моделям, которые не только легче обучаемы и обобщаемы, но и более объяснимы (например, решения модели объясняются активацией нескольких значимых концепций по сравнению с активацией большого разреженного массива нейронных весов). Меньшее количество и более связные объясняющие факторы, а также максимальная независимость этих факторов друг от друга облегчают анализ эффектов факторов. Я вижу параллель между независимыми контролируемыми объяснительными факторами и идеей обучения с эквивариантностью, которая, как указал д-р Бенжио, привела к открытию хороших репрезентаций во многих задачах визуального обучения. Примечательно, что не все особенности аспекта окружающей среды, такие как аспект цвета, являются информацией, на которую агент может воздействовать (т. Е. Контролируемой). Таким образом, должны быть другие стратегии, которые человеческий мозг использует для изучения этих концепций в обобщенном виде.

Применение сознательных предварительных и независимых контролируемых факторов даже к игрушечным задачам (таким как навигация в простом сеточном мире [7, 9]) дает хороший пример того, как машинное обучение как область может извлечь выгоду из идей, заимствованных из нейронауки. Я надеюсь, что благодаря нашему растущему пониманию человеческого мозга мы сможем извлечь еще много идей, которые помогут создать более надежные системы машинного обучения.

Приложение

Как группа Бенжио измерила склонность сложных моделей цепляться за поверхностные статистические закономерности, а не за обобщенные признаки?

Джейсон Джо и Йошуа Бенжио [1] внедрили карты возмущений (схемы случайной и радиальной фильтрации Фурье), качественно изменившие статистические закономерности при сохранении распознаваемости объектов, и применили их к известным наборам данных изображений (SVHN и CIFAR-10 ). Современная сверточная нейронная сеть (Preact ResNet с архитектурой узких мест 200[2]) была обучена на одном наборе данных, а затем протестирована на наборах с различными возмущениями. При такой настройке модели продемонстрировали разрыв в обобщении до 28 процентов по различным наборам тестов[1].

Использованная литература:

[1] Джо Дж. и Бенжио Ю. (2017). Измерение тенденции CNN к изучению поверхностных статистических закономерностей https://arxiv.org/abs/1711.11561

[2] К. Хе, С. Чжан, С. Рен и Дж. Сунь. Отображение идентичности в глубоких остаточных сетях https://arxiv.org/abs/1603.05027

[3] Хиггинс И. и др. (2017). SCAN: изучение иерархических композиционных визуальных концепций https://arxiv.org/abs/1707.03389

[4] Лесорт Т. и др. (2018). Обучение государственному представительству для контроля: обзор https://arxiv.org/abs/1802.04181

[5] Рапозо Д. и др. (2017). Обнаружение объектов и их отношений из запутанных представлений сцены https://arxiv.org/abs/1702.05068

[6] Бенжио Ю. (2017). Предшествующее сознание https://arxiv.org/abs/1709.08568

[7] Томас В. и др. (2017). Независимо контролируемые факторы https://arxiv.org/abs/1708.01289

[8] Bengio Y. (2018) На пути к распутыванию основных объясняющих факторов, http://www.iro.umonreal.ca/~bengioy/talks/ICMLW-limitedlabels-13july2018.pptx.pdf

[9] Сухбаатар С. и др. (2015). MazeBase: песочница для обучения в играх https://arxiv.org/abs/1511.07401

[10] Шайн и др. (2018) Низкоразмерное динамическое и интегративное ядро ​​познания в человеческом мозгу, https://doi.org/10.1101/266635

[11] Финн С., Аббил П. и Левин С. (2017) Модельно-независимое метаобучение для быстрой адаптации глубоких сетей, https://arxiv.org/abs/1703.03400

Биография:

Джой Римчала (Joy Rimchala) — специалист по обработке и анализу данных в области исследований в области прикладного машинного обучения в группе Intuit Technology Futures. Она внедрила подход на основе синтетических данных, чтобы восполнить нехватку ограниченных данных этикеток в настройках компьютерного зрения и естественного языка, и построила конвейеры моделей с помощью TensorFlow, PyTorch и AWS SageMaker. В настоящее время Джой возглавляет инициативу по извлечению информации из изображений структурированных документов с использованием идей компьютерного зрения, моделей естественного языка и обучения представлению. Джой имеет докторскую степень Массачусетского технологического института, где она провела пять лет, проводя эксперименты по отслеживанию биологических объектов и моделируя их с помощью марковских процессов принятия решений.

Подтверждение:

Прежде всего, я хотел бы поблагодарить Хизер Уайт за ее обучение и конструктивные отзывы. Комментарии и предложения Хизер внесли в статью большую ясность и удобочитаемость. Я также хотел бы поблагодарить Alex Gude, Andrew Mattarella-Micke, Conrad De Peuter, Riley Edmunds, Sricharan Kumar, Sumayah Rahman и Yang Li, а также за советы и отзывы по техническим аспектам статьи.