Один из способов классификации систем машинного обучения — по тому, как они обобщают. Существует два основных подхода к обобщению: обучение на основе примеров и обучение на основе моделей.
Обучение на основе примеров
Например, обучение на основе примеров: система запоминает примеры наизусть, а затем обобщает новые случаи, используя меру сходства, чтобы сравнить их с выученными примерами или их подмножеством.
Обучение на основе моделей
Другой способ обобщить набор примеров — построить модель этих примеров, а затем использовать эту модель для прогнозирования. Это называется обучением на основе моделей.
Для выбора модели можно либо определить функцию полезностиили функцию пригодности, которая измеряет, насколько хорошаваша модель, либо определить функцию стоимости который измеряет, насколько это плохо.
Если все прошло хорошо, ваша модель будет делать хорошие прогнозы. Если нет, вам может потребоваться использовать больше атрибутов, получить больше или более качественные обучающие данные или, возможно, выбрать более мощную модель.
Крайне важно использовать тренировочный набор, который репрезентативен для случаев, которые вы хотите обобщить. Если выборка слишком мала, у вас будет шум выборки, то есть нерепрезентативные данные в результате случайности, но даже очень большие выборки могут быть нерепрезентативными, если метод выборки ошибочен. Это называется смещением выборки.
