В августе 2019 года группа исследователей из lululab Inc предложила новейшую концепцию с использованием метода семантической сегментации для точного выявления наиболее распространенных проблем кожи лица. Работа принята на ICCV 2019 Workshop.

Контур

1. Концепция объектного обучения

2. Набор данных

3. Блоки переосмысления

4. ОБНОВЛЕНИЕ

5. Результаты

1. Концепция объектного обучения

Фактически, объекты поражения кожи имеют визуальные отношения друг с другом, что помогает человечеству легко судить, к какому типу они относятся.

Точнее, существуют взаимодействия регион-регион, объект-регион и объект-объект между некоторыми поражениями кожи, когда обнаружение класса объекта помогает для обнаружения другого по их совместному взаимодействию (например, морщины и возрастные пятна, папулы и белые угри и т. д.). Решения об обнаружении отдельных повреждений кожи могут динамически переключаться через контекстные отношения между классами объектов. Этот когнитивный процесс обозначается как принятие решений по каждому объекту.

Проще говоря, обучение по каждому объекту наблюдается, когда объект можно идентифицировать, глядя на другие объекты.

2. Набор данных

Исследователи подготовили набор данных под названием «База данных с метками разнотипных повреждений кожи» (MSLD) с пиксельной маркировкой фронтальных изображений лица. Сообщается, что разработка MSLD уникальна в сообществе машинного обучения, где отсутствует такой набор данных с маркировкой разнотипных поражений кожи на изображениях лиц.

412 изображений были аннотированы с маркировкой 11 распространенных типов поражений кожи лица и 6 дополнительных классов. Поражения кожи включают белую головку, папулу, пустулу, веснушки, возрастные пятна, PIH, приливы, себорейный дерматит, морщины и черные точки. К дополнительным классам относятся нормальная кожа, волосы, глаза / рот / бровь, очки, маска / шарф и фон. Сообщается, что они не раскрывают свой набор данных (MSLD), поскольку ответственность за конфиденциальность пользователя лежит .

3. Блок переосмысления

Предложен модуль REthinker на основе модуля SENet и локально созданного модуля convLSTM / conv3D для повышения чувствительности сети в локальном и глобальном контекстном представлении, что помогает фиксировать неоднозначно появившиеся объекты и одновременное возникновение взаимодействий между классами объектов.

4. Модули переосмысления и модули SENet

Модули REthinker состоят из модуля SENet и локально созданных слоев convLSTM / conv3D как механизма одноразового внимания, которые оба отвечают за извлечение контекстных отношений из функций.

А именно, поскольку глобальный пул модуля SENet агрегирует глобальную пространственную информацию, модуль SE передает больше встроенной контекстной информации более высокого уровня через большие окрестности каждой карты функций. Принимая во внимание, что локально созданные слои convLSTM / conv3D кодируют контекстную информацию более низкого уровня по элементам локальных окрестностей фрагментированной карты признаков (патчей), в то же время принимая во внимание пространственную корреляцию распределенно по патчам.

5. ОБНОВЛЕНИЕ

Поиск с помощью кодировщика. На практике предлагаемые блоки REthinker применимы в любых стандартных CNN. Однако в этой работе Xception рассматривается как современная сеть, работающая с блоками REthinker. Кроме того, существуют облегченные версии RehNet на основе MobileNet v2 и IGCV3. Использование модулей REthinker заставляет сети улавливать контекстные отношения между классами объектов независимо от схожей текстуры и неоднозначного внешнего вида.

Поиск с помощью декодера. Фактически, обширная контекстная информация является ключом к обнаружению неоднозначно появившихся объектов и одновременных взаимодействий между классами объектов, где это обычно получается в кодировщиках. Следовательно, путь декодера не рассматривается, а просто используется декодер DeepLabv3 + для восстановления деталей сегментации объектов отдельных поражений кожи.

RethNet: Просто исследовал RethNet, объединив модуль Xception и модули REthinker. Xception модифицируется следующим образом:

  1. Модуль REthinker добавляется после каждого блока Xception без пространственной потери карт функций.
  2. Последний блок входящего потока Xception удаляется.
  3. Размер патчей 4x4 в каждом модуле REthinker сохраняется, чтобы «видеть» будущие карты шире в ConvLSTM / conv3D с простым увеличением временных шагов.
  4. Количество параметров минимизировано в среднем потоке и потоке выхода Xception. Операция max-pooling заменяется разделенными по глубине свертками с шагом и пакетной нормализацией, а ReLU применяется после каждой глубинной свертки 3 x 3 модуля Xception.

6. Результаты

Результаты вывода RethNet кажутся довольно хорошими, если вы проверите изображение заголовка сообщения в блоге, которое является результатом вывода RethNet в реальных тестовых изображениях. Согласно результатам сравнения, он показывает значительные улучшения в задаче обнаружения повреждений кожи лица из набора данных MSLD, что на 15,34% больше по сравнению с Deeplab v3 + (MIoU 64,12%).

Если вы сочтете работу полезной для вашего исследования, просьба цитировать нашу статью:

@InProceedings {Bekmirzaev_2019_ICCV_Workshops,
author = {Bekmirzaev, Shohrukh and Oh, Seoyoung and Yo, Sangwook},
title = {RethNet: объектное обучение для выявления проблем с кожей лица},
booktitle = {Семинары Международной конференции IEEE по компьютерному зрению (ICCV)},
month = {Oct},
year = {2019}
}