Когда моделей машинного обучения недостаточно?
Компании ИИ, такие как CrowdANALYTIX, предоставляют своим клиентам лучшие модели ИИ для их нужд, а это означает, что они предлагают уровни точности не менее 94–96%. При разработке ИИ большинство моделей терпят неудачу — в CrowdANALYTIX около 90% моделей, созданных нашими учеными, никогда не используются клиентом, потому что они недостаточно точны или точны. Это одна из причин, по которой CrowdANALYTIX полагается на краудсорсинг для создания моделей: если десятки ученых данных работают над одной и той же проблемой, у них гораздо больше шансов в конечном итоге создать точную и пригодную для использования модель в нужное время, тогда как одному ученому потребовалось бы больше времени и усилий. рискует внести предубеждения.
Поэтому, если модель машинного обучения не может обеспечить высокую точность, необходимую для производственных моделей, CrowdANALYTIX решает эту проблему одним из двух способов. Во-первых: мы используем нашу краудсорсинговую сеть для создания нескольких моделей с использованием разных подходов и объединения их результатов. Этот метод помог нам успешно повысить точность производственных моделей на 2–4 % и работает в большинстве случаев.
Однако все еще есть некоторые случаи, известные как пограничные случаи, ситуации, которые не учитываются в исходной модели машинного обучения и которые не решаются этим методом. Не все эти случаи неточности требуют возвращения к чертежной доске и создания дополнительных моделей. Некоторые слабые модели должны быть отброшены, но в других случаях модель просто не способна независимо достичь высокой точности или точности, ожидаемой и требуемой большинством моделей производственного уровня для использования клиентами в такой компании, как CrowdANALYTIX.
Почему это может быть? Большинство производственных моделей, которые мы производим, предназначены для таких вариантов использования, как классификация продуктов, извлечение атрибутов продуктов или автоматизация извлечения информации: розничные приложения, которые помогают розничным торговцам и дистрибьюторам поддерживать точные и актуальные каталоги для себя и для клиентов, совершающих покупки в Интернете. Эти модели извлекают и классифицируют информацию из широкого спектра источников: PDF-файлы, сложные изображения, неструктурированный текст и даже аудио- и видеофайлы. Эта сложность и диапазон возможностей означают, что может быть трудно достичь ожидаемого уровня точности 92–95% в реальных приложениях, используя только модели машинного обучения. Эти модели просто не могут быть показаны на достаточном количестве примеров или запрограммированы с достаточным количеством данных для достижения желаемой точности.
Именно здесь сочетание машинного обучения и моделей Regex может повысить точность и достоверность.
Как ансамблевые модели могут решить проблему точности
Модели машинного обучения иногда необходимо дополнять тем, что мы называем моделями регулярных выражений, последовательностями, которые определяют шаблоны поиска. Комбинация машинного обучения и моделей регулярных выражений может повысить точность и достоверность, покрывая пограничные случаи. Эти ансамблевые подходы создают более надежные, более обобщенные модели, которые являются улучшениями по сравнению с отдельными моделями, поскольку они объединяют выходные данные нескольких отдельных моделей. В некотором смысле ансамблевая модель повышает потенциал успеха точно так же, как это делает краудсорсинговый подход к созданию модели: расширяя поле.
Давайте рассмотрим один яркий пример пограничного случая. CrowdANALYTIX часто имеет дело с документами в формате PDF со спецификациями продуктов, которые содержат информацию, которую необходимо извлечь и добавить в каталоги электронной коммерции продуктов. Во время извлечения вполне вероятно, что программа оптического распознавания символов может пропустить какой-то текст, неправильно идентифицировать специальный символ, написать слово с ошибкой или полностью удалить слово, что приведет к добавлению в каталог неверного атрибута. Это пограничный случай, и он может быть обработан Regex в конвейере без повторного обучения всей модели для пограничного случая или с помощью сценариев Regex, которые запускаются до того, как будут сделаны окончательные прогнозы. Regex помогает проверять выходные данные и обеспечивать максимально возможную точность результатов.
Предоставление прогнозов с высокой точностью является ключевым моментом для распространенных случаев использования в розничной торговле, упомянутых выше, а также в целом для любого приложения машинного обучения, которое будет использоваться в реальном мире с целью минимального вмешательства человека и минимального обслуживания. Комбинация ансамблевых моделей с Regex помогает достигать и поддерживать высокую точность и правильность без необходимости дорогостоящей и трудоемкой настройки.
