Когда мы говорим о машинном обучении, на первый план выходит одна вещь — модель, которая может предсказывать полученные данные. Но что более важно, чтобы эти прогнозы были правильными, модель или полученные данные. Сессия Эндрю Нг, посвященная искусственному интеллекту с глубоким обучением и посвященная ИИ, ориентированному на данные, вызвала вопрос о том, на чем следует сконцентрироваться больше, чтобы получить лучшую и практически применимую модель.
Теперь, когда мы начинаем говорить о данных, перед глазами всплывают какие-то цифры, строки, столбцы и прочее. Итак, данные только о столбцах, строках и других типах, таких как изображения, или нечто большее.
Мы можем получать много данных в повседневной жизни, на самом деле в статье IBM говорится, что 90% данных в мире сегодня были созданы в последние два года. Каждый день мы создаем 2,5 квинтиллиона байтов данных — так много, что 90% данных в современном мире было создано только за последние два года! Что безумно!
Данные, созданные в огромных количествах, являются результатом экспоненциального технического прогресса и эволюции, отсюда и возникает слово «большие данные». Огромный объем генерируемых данных может создавать закономерности, и поэтому модели машинного обучения помогают распознавать эти закономерности. Но что, если полученные данные не являются истинным представлением реального паттерна?
Сгенерированные данные могут быть наклонными или равномерно распределенными. Если он нормально распределен или собран равномерно, это может привести к закономерности, которая может как-то объяснить будущие закономерности. Теперь в очень общем виде нормальное распределение не означает, что данные должны быть в нормальном распределении, как в статистике, а скорее равномерно и нормально собраны. Данные должны содержать большую часть информации со сцены. Если коллекция каким-то образом сознательно или бессознательно предвзята или собрана неравномерно, то результирующий шаблон с использованием модели может быть либо недообученным, либо переобученным.
Отсутствие надлежащего сбора может привести к получению неверных данных. Плохой набор данных может дать ошибочные результаты и модели, которые практически невозможно реализовать. Вот почему большинство обучаемых сегодня моделей машинного обучения никогда не реализуются на практике в реальных приложениях.
Это серьезная проблема. Если собранные данные не отражают истинной картины, то наложенные слои фундамента будут слабыми и ломкими. Даже если обученная модель обеспечивает высокую точность, это на самом деле не означает, что она может предсказать любые данные, кроме проверенных. На картину влияет множество факторов, полученная модель может быть настолько ошибочной, если ее не проверить, что она может нарушить возможность применения при практическом применении.
Доверие к машинному обучению и искусственному интеллекту возможно только при правильном и ответственном сборе и использовании данных. Собранные данные следует использовать ответственно и непредвзято. Это позволит создавать модели, которые могут быть очень практичными с меньшими усилиями.
Человек из США не может использовать данные из другой страны для поддержки шаблонов для прогнозирования. Человек должен использовать данные, которые собираются ответственно и достаточно разнообразны, чтобы представить истинную картину и прогноз для этой области. Данные должны быть разнообразными, это также будет соответствовать этическим принципам ИИ.
Итак, обучите свою модель очень точно, но, тем не менее, если используемые данные не были ровными и непредвзятыми, то в реальной жизни модель потерпит неудачу. Следовательно, следующая фаза эры машинного обучения должна быть ориентирована на данные, а не на модели.
