Дерево решений — это древовидная структура, похожая на блок-схему, в которой внутренний узел представляет функцию (или атрибут), ветвь представляет правило принятия решения, а каждый конечный узел представляет результат. Самый верхний узел в дереве решений известен как корневой узел.
Деревья решений относятся к категории контролируемых алгоритмов обучения. Он в основном используется для регрессии и классификации в моделях машинного обучения. Он обеспечивает прозрачность, предлагая единое представление всех трасс и альтернатив. Дерево решений также присваивает конкретные значения проблемам и решениям, что позволяет лучше принимать решения.
Но знаете ли вы, как работает дерево решений? Большинство людей используют его, потому что он прост и обеспечивает графическое представление проблемы. В этой статье мы подробно рассмотрим алгоритм дерева решений.
Типы алгоритмов дерева решений
Существует два разных типа дерева решений для алгоритмов машинного обучения.
- Деревья классификации. В этом типе дерева решений есть только один результат из двух. Результат может быть либо истинным для определенного набора данных, либо ложным. Переменная решения является категориальной.
- Деревья регрессии. В этом типе дерева решений для алгоритмов машинного обучения результат является непрерывным и изменяется в зависимости от значения переменных в наборе данных.
Корень алгоритма дерева решений находится наверху, и он течет вверх ногами. Ветви расходятся вниз, а внутренние узлы удовлетворяют определенному условию.
Текст, выделенный черным цветом, — это внутренние узлы, что позволяет дереву разбиваться на ветви в зависимости от определенных условий. Конец ветки — это решение или лист, из которого уже не может развернуться никакая ветвь. Методология также популяризируется как обучение дереву решений на основе данных.
Как работает дерево решений?
Индекс Джини:
Другой алгоритм дерева решений CART (Дерево классификации и регрессии) использует метод Джини для создания точек разделения.
Где pi — вероятность того, что кортеж в D принадлежит классу Ci.
Индекс Джини учитывает двоичное разделение для каждого атрибута. Вы можете вычислить взвешенную сумму примеси каждого раздела.
"Энтропия":
Энтропия — это мера беспорядка или неопределенности, и цель моделей машинного обучения и специалистов по данным в целом состоит в том, чтобы уменьшить неопределенность.
Мы просто вычитаем энтропию Y с учетом X из энтропии только Y, чтобы вычислить уменьшение неопределенности относительно Y с учетом дополнительной информации X об Y. Это называется получением информации. Чем больше уменьшение этой неопределенности, тем больше информации об Y получается из X.
Давайте посмотрим на пример обучения модели с данными о диабете с использованием приведенного выше алгоритма.
Обратите внимание, что мы собираемся использовать Pandas и Sklearn для обучения данных и использования существующего набора данных диабет от Kaggle.
Плюсы:
- Интерпретация и визуализация упрощаются при использовании деревьев решений.
- Захват нелинейных паттернов проще.
- Нормализация столбцов не требуется, так как от пользователя требуется незначительная предварительная обработка данных.
- Выбор переменных можно сделать более эффективно.
- С помощью этого алгоритма можно очень эффективно разрабатывать функции, такие как прогнозирование отсутствующих значений.
- Предположений о распределении нет, т.к. дерево решений имеет непараметрический характер. (Источник)
Минусы:
- Переобучение зашумленных данных и чувствительность к зашумленным данным — это афера.
- Номинальное изменение данных может привести к другому дереву решений. Чтобы уменьшить это мошенничество и алгоритмы повышения используются.
- Перед созданием дерева решений предлагается сбалансировать набор данных, поскольку деревья решений смещены к несбалансированному набору данных.
Вывод
Дерево решений очень легко понять и передать. Он обеспечивает отличную визуальную иллюстрацию данных, а дендрограмма дает хорошее представление о взаимосвязи между объектами.
