Те, кто интересуется наукой о данных, машинным обучением и искусственным интеллектом, часто заинтересованы в том, чтобы узнать, как строятся алгоритмы, как обучаются модели, требуются ли знания в области программирования, чтобы быть специалистом по данным, где найти достоверные наборы данных для проектов, как они могут изучать статистику и тому подобное. Конечно, само собой разумеется, что, учитывая, насколько увлекательными могут быть эти поля, любопытному уму все это будет интересно. Вы можете найти несколько тысяч ресурсов, которые могут помочь вам изучить различные области в области машинного обучения, науки о данных, искусственного интеллекта, и, поскольку внимание к этим темам значительно возросло, несколько колледжей и университетов даже создали курсы и программы, связанные с к искусственному интеллекту, машинному обучению и науке о данных за последние 10–15 лет.
В то время как шумиха — это то, чем она является, активная шумиха, часто некоторые основы и темы, которые считаются скучными, недостаточно сложными или достаточно интригующими, обсуждаются меньше. Одним из таких шагов является так называемая очистка данных. Угождая любознательным умам, надеясь помочь молодым соискателям, многие ресурсы уделяют большое внимание темам, связанным с этими модными словечками — глубокое обучение, регрессионные модели, обучение с подкреплением, аналитика больших данных, обработка естественного языка и т. д. При изучении всего этого можно быть довольно забавным и даже иногда пугающим, мы не должны забывать, что в процессе работы с любыми данными, вскоре после завершения сбора данных, первым шагом будет начать их очистку.
Что произойдет, если вы не выполните очистку данных?
В мире науки о данных есть такая популярная, часто используемая фраза: «мусор на входе, мусор на выходе». Это означает, что если вы передаете данные своей машины, которые включают ложную информацию, нерелевантную информацию или недостаточную информацию, ваша машина либо не будет знать, что делать с тем же, когда она столкнется со всем этим, что приведет к ошибкам, либо ваша машина не будет работать. правильно.
Почему важна очистка данных?
Возможно, в идеальном мире мечты вы получили бы набор данных, идеально подходящий для обучения вашей машины. Но в реальном мире почти каждый набор данных, с которым вам предстоит иметь дело, будет иметь пропущенные значения или неожиданные значения, и может потребоваться так называемая очистка данных.
Что такое очистка данных?
Вы можете считать это первым шагом в процессе подготовки данных для вашего проекта машинного обучения. Представьте, что ребенка отправляют в школу, и школа не заботится о том, какой контент входит в его программу, а какой нет, пока есть какой-то контент, который нужно преподавать. Насколько это было бы ужасно для образования вашего ребенка? Вот насколько важна очистка данных. На самом деле, когда вы убедитесь, что часть очистки данных выполнена в меру ваших возможностей, предполагая, что другие этапы процесса также выполнены хорошо, вы можете поспорить, что результаты будут впечатляющими.
Очистка данных является обязательной частью анализа данных и обучения модели.
Обратите внимание, что не существует универсального метода очистки данных для всех наборов данных и проектов. Как ваши наборы данных имеют тенденцию меняться от проекта к проекту, от образца к образцу, так и ваши потребности в очистке данных.
Отсутствующие значения. Отсутствующие значения — одна из наиболее распространенных проблем, с которыми вы сталкиваетесь при работе с наборами данных. Возможно, вы видели много пустых ячеек в CSV-файлах, если сами работали над некоторыми проектами. В этом случае администраторы базы данных либо удалят эти наблюдения, либо заменят отсутствующие значения значениями, которые считаются наиболее применимыми в этих случаях, например, медианным значением.
Повторяющиеся наблюдения. Другая часто встречающаяся проблема связана с дублированием данных. Допустим, вы имеете дело с набором данных отзывов клиентов. Какой смысл в том, чтобы уровень удовлетворенности одного клиента указывался 4 раза, причем каждая запись была такой же, как и остальные? Представьте, что вы классный руководитель и проверяете посещаемость учащихся на семинаре. Что вы получаете, имея несколько записей о том, присутствует ли студент или отсутствует? Вот что такое повторяющиеся значения — они не представляют реальной ценности, никак не помогают машине и просто занимают место. Эти наблюдения лучше удалить.
Данные с низким уровнем вариации. В последнем примере представьте, что в наборе данных есть столбец о присутствии или отсутствии учащихся на семинаре, а также столбец, в котором указано, что каждая запись в наборе данных играет роль «ученика». Это опять же просто занимает место; какой смысл знать, что все участники каждый раз студенты? Это тоже можно было бы удалить.
Нерелевантные данные. Как следует из названия, все, что не является необходимым или не имеет отношения к вашей теме или проекту, может считаться «нерелевантными данными». Рассмотрим следующую ситуацию: у вас есть набор данных об удовлетворенности сотрудников, и вас просят проанализировать удовлетворенность сотрудников-женщин для проекта, который надеется сделать рабочее место более безопасным, более желанным и удовлетворяющим также и для женщин-сотрудников. В этом случае все ответы сотрудников-мужчин могут быть удалены из набора данных для этого проекта.
Неверные данные. Необходимо внимательно просматривать наборы данных, чтобы не ввести в машину неверные данные. Теперь предположим, что вы собрали предпочтения местных жителей в городе. Хотя все наблюдения могут казаться более или менее похожими, что, если вы заметите несколько наблюдений за людьми, которые не живут в этом городе? Что, если ингредиенты и пищевая ценность молочных продуктов включены в набор данных, предназначенный для веганских молочных продуктов? Это неверные данные, и если их подать на машину, очевидно, это повлияет на точность машины.
Количественная оценка данных. Вообще говоря, машины получают числовые данные, и с ними легче работать, поэтому, если у вас есть столбцы, которые показывают нечисловые данные, попробуйте изменить их на числовые эквиваленты, чтобы данные просто становится легче анализировать. Это часто делается с помощью методов, называемых «методами кодирования» в машинном обучении.
Работа с выбросами. Представьте, что вы имеете дело с набором данных, который представляет собой запись финансовых транзакций клиентов банка. Что, если в одном или двух редких случаях транзакция включает внезапную огромную сумму? Означает ли это автоматически, что происходит какая-то мошенническая деятельность? Что делать, если на банковском счете клиента нет активности в течение очень долгого времени? Значит ли это, что эти наблюдения не следует принимать во внимание? Должны ли эти значения быть заменены медианным значением? Было бы это правильно?
Это все распространенные проблемы, с которыми вы сталкиваетесь при работе с наборами данных разных типов в реальных проектах. Важно, чтобы вы изучили методы очистки данных, прежде чем начать работать профессионально. Иногда мы можем легко пропустить эти наблюдения за данными, поэтому нам нужно обратить внимание и потратить время на очистку данных. Или данные, которые мы будем передавать машине, будут ненадежными, что повлияет на уровень точности модели и приведет к пустой трате времени, усилий и ресурсов.
Имейте в виду, "мусор на входе, мусор на выходе"! :)
