Метрики мониторинга моделей гарантируют, что производственные модели ИИ работают должным образом. Сдвиг априорной вероятности — это явление, обнаружение которого в прогнозах модели указывает на то, что модель устарела.

Pronojit Saha и Dr. Арнаб Бозе

Задний план

В нашей первой статье из серии Мониторинг моделей MLOps здесь мы рассмотрели мотивацию использования платформы мониторинга моделей. Он играет важнейшую роль в завершении основного цикла обратной связи от развертывания модели до построения модели в системах ИИ. Это дополнительно гарантирует, что производственная модель поддерживает уровень производительности, как было обещано на этапе обучения модели. Кроме того, мы определили три широкие категории метрик (например, метрики стабильности, метрики производительности и метрики операций), которые мы можем отслеживать для достижения того же. В дальнейшем метрики стабильности можно разделить на два основных подтипа: метрики стабильности категории I, используемые для обнаружения предшествующего сдвига вероятности, и метрики стабильности категории II, используемые для обнаружения ковариатного сдвига. В этой статье мы собираемся обсудить показатели стабильности категории I и углубиться в ее работу. Мы рассмотрим другие показатели в следующих статьях серии.

Сдвиг априорной вероятности

Сдвиг априорной вероятности фиксирует сдвиг распределения прогнозируемых выходных данныхмежду данными обучения и производственными данными или между различными временными рамками производственных данных (чтобы узнать больше об этих временных рамках, ознакомьтесь с первой статьей ряд). В байесовском статистическом выводе [2] априорное распределение вероятностей неопределенной переменной (прогнозируемый результат) — это распределение вероятностей, которое будет выражать убеждения относительно этой переменной до того, как будут приняты во внимание некоторые свидетельства (новые производственные данные). Таким образом, основная гипотеза состоит в том, что распределение прогнозируемого результата при обучении (т.е. априорная вероятность) не должно существенно меняться в процессе производства (т.е. с новыми данными).

Предположим, что в наборе данных о дефолте по кредиту обучающие данные имеют равные априорные вероятности дефолта по кредиту (т. е. вероятность дефолта по кредиту равна 0,5). Таким образом, мы ожидаем, что 50 % обучающей выборки будут содержать неплательщиков по кредитам, а 50 % — хороших кредитов. Однако в действительности только 5% кредитов могут быть дефолтными, и тогда априорная вероятность переменной дефолта по кредиту изменилась. Математически мы можем представить это как

Показатели стабильности, тип I

Показатели стабильности типа I помогают нам обнаруживать предшествующие сдвиги вероятности. Он состоит из двух основных KPI: индекса стабильности населения (PSI) и индекса дивергенции (DI).

1. Индекс стабильности населения

Индекс стабильности населения или PSI сравнивает распределение прогнозируемой вероятности (классификация) или непрерывного прогнозируемого результата (регрессия) по двум наборам данных (обучающий и производственный). Таким образом, это помогает оценить, значительно ли изменилась априорная вероятность, то есть прогнозируемое распределение результатов во время обучения, с притоком новых данных во время производства (новые доказательства).

Шаги для расчета PSI приведены ниже. Здесь мы рассмотрели сравнение обучающих данных и производственных данных для простоты понимания (сценарий I из нашей первой статьи из серии здесь). Но это вполне можно применить для сравнения двух экземпляров производственных данных в разное время (сценарий II из первой статьи).

  1. Сортировка прогнозируемой вероятности набора обучающих данных в порядке убывания
  2. Разделите прогнозируемые вероятности на 10 сегментов (децили).
  3. Для каждой корзины, сформированной на шаге (2), найдите минимальное и максимальное значения вероятности, то есть точки отсечки каждой корзины в обучающем наборе данных.
  4. Рассчитайте % наблюдений, попадающих в каждое такое ведро (% Ожидается в Таблице I ниже)
  5. С точками отсечения вероятности из 10 сегментов в наборе производственных данных рассчитайте % наблюдений, попадающих в каждый из этих сегментов набора производственных данных (% фактического в таблице I ниже).
  6. Наконец, рассчитайте PSI по приведенной ниже формуле.

В приведенном выше примере используются предсказанные вероятности в постановке задачи классификации. В случае регрессии граничные значения будут непрерывными сегментами значений выходных прогнозируемых значений.

Как действовать в соответствии со значением PSI?

Как правило, ниже приведены несколько точек ценности решения для PSI.

  1. Если PSI ‹ 0,1, то в прогнозируемом выпуске не происходит значительного сдвига априорной вероятности, и в существующей модели добычи не требуется никаких изменений.
  2. Однако, если PSI ›=0,1 и ‹0,2, тогда может потребоваться небольшое изменение в производственной модели, и лучше также просмотреть некоторые другие KPI, чтобы принять решение.
  3. Если PSI›=0,2, то в прогнозируемом выходе обнаружен значительный сдвиг априорной вероятности, и следует переобучить производственную модель на последних данных.

Дальнейшее обсуждение того, что должно быть подходящей точкой принятия решения, можно найти в работах Билала Юрдакула [1].

2. Индекс дивергенции

Индекс расхождения или DI сравнивает совокупную статистику о выходе между двумя наборами данных (обучение и производство). Как и PSI, DI также помогает оценить, существенно ли изменилась априорная вероятность, то есть распределение выходных данных во время обучения, в производстве. Но DI делает это на агрегированном уровне и использует фактические выходные значения (наземную правду) вместо прогнозируемых выходных данных. Таким образом, одно ограничение DI заключается в том, что не всегда возможно выполнить расчет, учитывая, что получение достоверной информации о производственных данных может быть задержано или не всегда доступно. Шаги для расчета DI приведены ниже.

Для проблемы классификации мы вычисляем фактическое распределение классов (для каждого класса) в наборе обучающих данных и наборе производственных данных. Мы определяем количество уникальных уровней в предсказанной переменной класса, затем вычисляем пересечение для каждого из них и делим его на их объединение. Например, если данная переменная класса в наборе обучающих данных имеет три уникальных уровня, т. е. «Хорошо», «Очень хорошо» и «Отлично», а в наборе производственных данных имеется пять уникальных уровней, т. е. «Плохо», «Средне», «Хорошо», «Очень хорошо» и «Отлично», DI будет рассчитываться как:

  1. DI = 1 — (Общие уровни в Training & Prod/Объединение уровней в Training & Prod) = 1-(3/5) = 0,4
  2. Далее, если новые уровни не добавляются, то DI = 0, а для совершенно разных уровней в двух наборах данных DI = 1.

Для проблемы регрессии мы просто вычисляем процентное изменение среднего значения непрерывного вывода значений между двумя наборами данных.

Как воздействовать на ценность внедрения зависимостей?

То же эмпирическое правило, упомянутое ранее для PSI, может быть использовано для DI, а также для обнаружения наличия априорного сдвига вероятности в прогнозируемых выходных данных и, соответственно, может быть принято решение о переобучении модели.

Вывод

Прогнозы моделей машинного обучения позволяют получить ценную информацию и определить действия. Мониторинг моделей, чтобы прогнозы оставались эффективными и актуальными, имеет первостепенное значение. Показатели стабильности категории I, такие как PSI и DI, помогают нам в этом, обнаруживая априорный сдвиг вероятности в прогнозах модели. Эти показатели являются важными инструментами мониторинга в системах ИИ.

использованная литература

  1. Билал Юрдакул, Статистические свойства индекса стабильности населения (2018), ScholarWorks в WMU
  2. Джон Крушке и др., Байесовский анализ данных для новичков (2017), Springer