Или почему нельзя обучать надежные модели на универсальных данных
Обучение моделей ИИ может быть сложной задачей при использовании краудсорсинговых или общедоступных наборов данных. Самые полезные нейронные сети — это те, которые заменяют экспертные знания для решения реальных проблем. Одним из примеров может быть модель визуального осмотра производственного цеха.
Производительность на уровне человека
Человеческая производительность делится на уровни: общий или экспертный. Эксперт — это тот, кто провел минимальное количество времени или получил практическое обучение в этой области.
Точность вашей модели ИИ напрямую связана с качеством данных, используемых для ее обучения. При использовании общих наборов данных для обучения модель обычно превосходит уровень знаний, заложенный в обучающих выборках, но остается значительно ниже производительности на уровне экспертов. Компьютер более внимателен, чем оператор, выполняющий ту же задачу проверки, поэтому обученная модель, вероятно, достигнет точности, которая немного лучше, чем у человека.
Если вы считаете, что использование таких сервисов, как Amazon Mechanical Turk, для маркировки набора данных — это хорошая идея, позвольте задать вам вопрос. Вы бы взяли человека и, прочитав краткое руководство по эксплуатации, заставили бы его работать на фабрике?
Это не звучит как отличная идея. Но оказывается, что каждый из нас делает это, используя подобные услуги. Большая часть вашего набора данных может быть сгенерирована таким образом, но поможет ли это вашей модели?
Практические соображения
Сложные образцы могут не попасть в набор данных, потому что кто-то не смог понять инструкции по маркировке, и этот образец может быть отброшен. В то время как производительность на уровне человека достижима с большими наборами данных, помеченных толпой, правда в том, что самые простые образцы будут помечены первыми.
Я видел множество случаев, когда турки просто нацеливались на самые низкие висящие фрукты, не отправляя этикетки для пустых образцов. В этом случае речь идет об экономике, основанной на принципе вознаграждения. Сложные образцы могут оказаться немаркированными.
Упрочнение модели
Синтетические данные позволяют сделать задачу сложнее, чем в реальной жизни.
Дисперсия или шум хороши для вашей модели, а программная генерация выборок может сделать модель более устойчивой к невидимым входным данным. Данные, помеченные человеком, часто курируются и менее зашумлены, чем реальные входные данные.
Вначале это может помочь быстро начать работу с вашей моделью. Но поверьте мне, вы не хотите, чтобы обученная толпой модель была запущена в производство в заводском цеху без проверки того, что ее производительность превосходит экспертный уровень или что она максимально соответствует этим ожиданиям.
Методы генерации данных
Существует несколько методов, которые вы можете использовать при создании синтетических данных.
Данные симулятора
Используйте симулятор для генерации новых данных. Пользовательские шейдеры могут предоставлять метки RGB+D и сегментации. В настоящее время Microsoft сосредоточена на создании данных аэрокосмического класса, потому что это открытый исходный код, проект симулятора AirSim 3D дал многообещающие результаты, поэтому многие компании использовали его для внутренних целей.
Синтетическая аугментация
Простые улучшения компьютерного зрения также могут работать. С помощью функции OpenCVs inpaint цена была переписана в соответствии с примерами, показанными ниже. Здесь был реализован смешанный подход, при котором лейблеры-люди определяют полигон, в котором содержится цена.
Фокус развития
Проверка выборки толпы потребует таких же усилий, как и разработка генератора набора данных.
Это самая важная часть ИИ, и многие люди ошибаются. Если набор данных плохо курируется и на этом этапе тратится недостаточно времени, ваш проект может закончиться неудачей. Набор данных должен быть одним из ваших главных приоритетов, и если у вас достаточно качественных данных, вы сможете обучить почти каждую модель до совершенства.
Заключение
Наиболее успешные модели, развернутые в производственной среде, используют сочетание синтетических и реальных данных для достижения отличных результатов.
Дайте мне знать, какие другие методы вы используете, чтобы дать вашей модели дополнительное преимущество в производительности.
