Введение в жизненный цикл науки о данных
Основная идея жизненного цикла науки о данных заключается в использовании машинного обучения и других аналитических методов для получения информации и прогнозов на основе данных для достижения бизнес-целей. Полная процедура включает в себя ряд процессов, включая подготовку данных, построение модели, оценку модели и т. д. Это длительная процедура, на завершение которой может уйти много месяцев. Поэтому крайне важно установить широкую основу для решения любых возникающих задач.
Жизненный цикл науки о данных
1. Деловое понимание
Бизнес-цель является фокусом всего цикла. Что бы вы сделали, если бы у вас не было конкретной проблемы? Бизнес-цель должна быть хорошо понята, потому что она будет конечным результатом анализа. После тщательного понимания мы единственные, кто может определить точную цель анализа по отношению к цели компании. Вам нужно понять, хочет ли клиент уменьшить кредитный убыток, спрогнозировать цену товара и т. д.
2.Понимание данных
Понимание данных следует за пониманием бизнеса. Для этого требуется сбор всей доступной информации. Если вы тесно сотрудничаете с бизнес-группой, вы можете узнать больше о доступных данных, какие данные можно использовать для решения этой бизнес-задачи и другие подробности. Данные должны быть описаны вместе с указанием их вида, релевантности и/или организации. Для исследования данных используются визуальные диаграммы. По сути, вы можете получить информацию о данных, просмотрев их.
3. Подготовка данных
Далее следует этап подготовки данных. Это включает в себя выбор соответствующих данных, их интеграцию путем объединения наборов данных, их очистку, обработку выбросов, обработку отсутствующих значений путем их удаления или подстановки, а также обработку неверных данных путем их исключения. Создание новых данных и получение новых функций из старых. Отформатируйте данные по мере необходимости, удалив все ненужные столбцы и функции. Самый трудоемкий, но, возможно, самый важный этап всего жизненного цикла — подготовка данных. Насколько хороши будут ваши данные, настолько хороша и ваша модель.
4. Исследовательский анализ данных
Перед созданием реальной модели на этом этапе необходимо получить общее представление об ответе и влияющих на него переменных. Гистограммы используются для изучения распределения данных по различным переменным характеристик, а диаграммы рассеивания и тепловые карты используются для визуализации взаимосвязей между различными характеристиками. Несколько альтернативных подходов к визуализации данных часто используются для изучения каждого компонента отдельно или в сочетании с другими функциями.
5. Моделирование данных
Ядром анализа данных является моделирование данных. Требуемый результат создается моделью, использующей предоставленные данные в качестве входных данных. На этом этапе необходимо выбрать правильный тип модели в зависимости от того, является ли проблема классификацией, регрессией или кластеризацией. После выбора семейства моделей мы должны тщательно выбрать и реализовать алгоритмы, которые будут использоваться внутри этого семейства, из множества доступных вариантов. Чтобы заставить каждую модель работать так, как мы хотим, мы должны настроить ее гиперпараметры. Кроме того, мы должны убедиться, что производительность и обобщаемость должным образом сбалансированы. Модель не должна изучать данные, а затем плохо работать с новыми данными.
6. Оценка модели
Здесь модель оценивается, чтобы увидеть, готова ли она к развертыванию. Модель тестируется на гипотетических данных и оценивается с использованием набора хорошо продуманных мер оценки. Кроме того, мы должны убедиться, что модель отражает реальность. Если оценка не дает удовлетворительного результата, мы должны полностью повторить процедуру моделирования до тех пор, пока не будет достигнут необходимый уровень метрик. Любое решение для обработки данных или модель машинного обучения должны уметь адаптироваться к новым показателям оценки и меняться со временем, как человек. Для данного явления мы можем создать несколько моделей, но многие из них могут быть ошибочными. Феномен моделей позволяет выбрать и создать идеальную модель.
7. Развертывание модели
Модель, наконец, развертывается в желаемом формате и канале после тщательной оценки. На этом этапе заканчивается жизненный цикл науки о данных. Следует тщательно рассмотреть многие этапы жизненного цикла науки о данных. Все усилия будут потрачены впустую, если какой-либо шаг будет выполнен неправильно, поскольку это повлияет на следующую фазу. Например, неправильный сбор данных приведет к потере информации и неидеальной модели. Модель не будет работать эффективно, если данные не очищены должным образом. Модель потерпит неудачу в реальном мире, если она не будет должным образом исследована. Каждой фазе, от понимания бизнеса до развертывания модели, следует уделить должное внимание, время и усилия.
