Место для совместной работы для решения задач машинного обучения
Помещение
С тех пор, как я присоединился к сообществу MLOps, многое изменилось.
Такие люди, как Деметриос Бринкманн, Дэвид Апонте и многие другие, усердно работают вместе, распространяя знания о дисциплинах MLOps и ModelOps. Они продвигают несколько инициатив, таких как канал Slack, кофе-сессии, встречи и беседы. С экспертами и практиками из 32 стран мира. И все это с целью создания места, где вы можете узнать об опыте и передовых методах работы с машинным обучением и моделями.
Поэтому, когда я начинаю думать о том, как я могу внести свой вклад, я спрашиваю себя:
… Как еще можно поддержать людей…?
… Для человека, который присоединяется к сообществу, как я могу превратить эти знания во что-то, что может помочь ему / ей в решении наиболее распространенных проблем ModelOps конкретным способом?
Это были вопросы, которые я задавал себе в самом начале.
И единственный ответ, который я на все им нахожу…
Тогда я так хочу поговорить об этом. Действительно, это первая статья из серии Medium, которую сообщество MLOps собирается опубликовать об этой инициативе.
С его помощью я познакомлю вас с инженерными лабораториями и их руководящими принципами.
В частности, я дам вам общую картину о типичной лабораторной работе и подробно опишу каждую фазу. Чтобы сделать вывод, я буду использовать первую лабораторную работу в качестве примера того, о чем я говорю. Наконец, я предоставляю контактную информацию на случай, если мне удастся убедить вас присоединиться к нам =)
Ниже вы можете увидеть Оглавление остальной части статьи:
- Инициатива и ее руководящие принципы
- Путь инженерной лаборатории
∘ Шаг 1: Заполните форму
∘ Шаг 2: Присоединяйтесь к команде
∘ Шаг 3: Решите задачу за 6 недель
∘ Шаг 4: Объедините свой проект и оставьте отзыв
∘ Шаг 5: Кофе-сессия
∘ Шаг 6: Средняя статья и заключительное техническое обсуждение - Первая инженерная лаборатория: PyTorch встречает MLflow
∘ Контент
∘ Команды
∘ Первое путешествие и его результаты - Как к нам присоединиться
- "Резюме"
Инициатива и ее руководящие принципы
Первоначально мы объявляем инициативу в августе. И теперь, как и тогда, Engineering Labs - это место, где у вас как у человека есть возможность присоединиться к команде и вместе работать над решением конкретной задачи машинного обучения.
Независимо от того, насколько сложной будет задача, мы твердо уверены, что сотрудничество является ключевым фактором для ее решения. Почему? Потому что это в ДНК MLOps. Если вы хотите внедрить системы машинного обучения в производство, вам необходимо разрабатывать решения совместными усилиями самоорганизующейся и кросс-функциональной команды.
В команде каждый человек имеет возможность учиться у других участников. Действительно, сочетание разнородных навыков - одна из наших главных задач. И технические, и мягкие. Таким образом, вы становитесь лучше, одновременно веселитесь.
Конечно, у каждой проблемы есть много возможных способов решения. Поэтому мы решаем не налагать строгих ограничений. Как только мы четко определим содержание лабораторной работы, вы можете экспериментировать и тестировать каждую комбинацию решения и технологии. Но поскольку мы хотим создать ценность для наших конечных пользователей, ваше решение должно быть максимально воспроизводимым. Вот почему мы создаем репозиторий GitHub как источник истины.
О содержании лабораторных работ, в зависимости от участия и о том, как инициатива будет развиваться по мере изменения сообщества, мы спросим вас и всех, кто хочет предложить задачу ML решить. Мы соберем их и позволим сообществу проголосовать за них.
И, в конце концов, как только вы и ваша команда решите задачу, мы попросим вас поделиться своим опытом и тем, что вы узнали. Потому что мы обычно согласны с тем, что истинное знание - это то, что люди делятся чувствами, а не только словами.
Теперь, когда у вас есть представление об инициативе и ее руководящих принципах, позвольте представить вам общую картину пути инженерной лаборатории.
Путь инженерной лаборатории
Я всегда думал, что картинка стоит тысячи слов. Итак, поехали.
Как видите, путь инженерной лаборатории состоит из 6 этапов:
Шаг 1. Заполните форму
Мы предоставляем форму подписки для сбора контактной информации, предыстории и всего полезного, чтобы назначить вас в нужную команду. Также вы можете предложить задачу, которую хотите решить.
Затем мы просматриваем информацию и объявляем о лабораторной работе. В частности, мы сообщаем вам лабораторную задачу (с голосованием сообщества в качестве необязательного шага), которая представляет собой вашу команду и всю информацию, необходимую для успеха.
Шаг 2. Присоединяйтесь к команде
Как только вы узнаете свою команду, у нас будет телефонный звонок, на котором вы представитесь всей команде. И помните, что сейчас самое время задать все свои вопросы и разрешить все сомнения относительно того, что будет дальше.
Шаг 3. Решите задачу за 6 недель
С этого момента у вас есть все, что вам нужно, чтобы приступить к решению этой задачи. Вы и ваша команда можете свободно планировать свои 6 недель по своему усмотрению. Чтобы убедиться, что все идет хорошо, вся команда проведет 30-минутную встречу, чтобы проверить, как идет лабораторная работа.
Шаг 4. Объедините свой проект и оставьте отзыв
По истечении 6 недель вы должны быть готовы объединить свой проект с официальным репозиторием Engineering Labs на GitHub в рамках MLOps. . общественная организация. Затем мы попросим вас заполнить форму обратной связи, чтобы сообщить нам, что вы думаете об этом опыте.
В оставшейся части пути мы будем представлять вам, что сделали вы и ваша команда.
Шаг 5: кофе-сессия
Во время сеанса кофе вы участвуете в общей дискуссии о своем опыте работы в лаборатории как команда. Вы говорите о таких аспектах, как управление проектами, предлагаемое вами решение, все технические проблемы с инфраструктурой и инструментами, которые вы используете для решения проблемы. И поскольку это неформальная сессия, чем вы хотите поделиться.
Шаг 6: Средняя статья и заключительное техническое обсуждение
На этом последнем этапе у вас есть возможность углубиться в свое решение, описав его в серии статей, которые мы опубликуем на официальной странице сообщества MLOps Community Medium. Затем, поскольку каждая команда имеет свой собственный опыт, по одному представителю от каждой команды готовит ряд вопросов на основе статьи, и мы устраиваем заключительную беседу, посвященную консенсусу.
С этого момента лаборатория считается законченной. Все команды учились друг у друга, проблема решена с помощью правильного решения (с учетом временных ограничений), и мы можем перейти к новой лаборатории.
Вот и все. Возможно, в этот момент вы задаетесь вопросами вроде
Это слишком много? Смогу ли я подумать об этом?
Честно говоря, вначале мы тоже не были уверены в этом.
Но вы знаете, что?
Две из четырех команд, присоединившихся к первой лаборатории, сделали это.
И на самом деле у них это получилось очень хорошо.
Чтобы дать вам представление, я буду использовать первую инженерную лабораторию в качестве примера того, о чем я говорю. Но я позволяю каждой команде представить вам свои решения со статьями, входящими в серию.
Первая инженерная лаборатория: PyTorch встречает MLflow
Этим летом сообщество PyTorch объявило о ряде технических вкладов, чтобы обеспечить сквозную поддержку использования MLflow, при этом PyTorch пообещал ускорить рабочий процесс от исследования до производства.
Как сообщество MLOps, мы знаем из обсуждений, которые у нас были, внедрение моделей Pytorch может оказаться сложной задачей. Вот почему мы решили протестировать эти новые возможности и предоставить возможный сквозной жизненный цикл модели Pytorch с использованием Mlflow в первой официальной инженерной лаборатории.
Содержание
Как я упоминал ранее, мы решаем не налагать ограничений. Мы просто попросили использовать PyTorch и MLflow. Мы предлагаем ознакомиться с полным рабочим процессом MLOps для построения и обслуживания моделей PyTorch с использованием MLflow в исходной статье. Но затем мы позволили командам разобраться в этом.
Команды
Собрав ответ на форму, мы решили собрать команды 4х4. В частности, членами сообщества, вовлеченными в этот сценарий, были:
- Команда 1: Мишель Васконселос, Алексей Найден, Варуна Джаясири, Джон Сэвидж
- Команда 2: Итирелл, Марк Петерс, Карлос Лейсон, Семендьяк
- Команда 3: Ласло Срагнер, Артем Юшковский, Дими, Пауло Майя
- Команда 4: Шадаб Хуссейн, Сусана Брандао, Годвин Экаину, Джош
Первое путешествие и его результаты
Мы официально анонсируем лабораторию в декабре. И команды приступают к решению задачи в январе месяце.
Это было непросто. В первую неделю сдались две команды. Действительно, позже мы поняли, что установка только одного ограничения (технологии MLflow и Pytorch) - не лучший способ сделать это, потому что мы не просили их решить конкретную проблему. Вот почему двум группам было трудно решить проблему. И они сложились.
Но кто по-прежнему много сотрудничал и много над этим работал. И в конце они реализуют два финальных проекта:
- Команда 1, проект Классификация новостей
- Команда 3, проект Yelp Review
Тем временем я связался с сообществом AI & PIE в Милане, и вместе мы договорились провести встречу, на которой командам рассказали, чего они достигли. Если вам интересно, как прошла встреча, вы можете найти запись здесь. Также обе команды поделились своим опытом в специальных Кофе-сессиях. Не стесняйтесь их смотреть. Обе команды откровенно рассказали об общем опыте. Наконец, в то время, когда я пишу, они работают над статьями среднего размера, и скоро у нас будет заключительное техническое обсуждение.
Кстати, делая математику, я могу посчитать
- 1 лабораторная работа о том, как запустить в производство модель Pytorch с MLflow
- Команды 4х4
- 2 финальных проекта
- 1 встреча в сообществе AI & PIE
- 2 интересных сеанса кофе
- (скоро) 2 средних статьи и 1 заключительный технический доклад
Не так уж и плохо быть вашим первым опытом, не правда ли?
Конечно, это будет краткий обзор того, что вас ждет, если вы решите присоединиться к инициативе. Имея это в виду, позвольте мне закрыть эту статью, рассказывая вам, как с нами связаться.
Как вы можете присоединиться к нам
В качестве лидера инициативы я бы рекомендовал
- Присоединяйтесь к каналу Slack: https://go.mlops.community/slack
- Присоединяйтесь к каналу #engineeringlabs
- Претендуйте на следующую лабораторную работу с этой формой
- Не стесняйтесь обращаться ко мне как в сообществе (@ ilnardo92), так и в Linkedin за разъяснениями.
Затем БЕСПЛАТНО!
Резюме
Подводя итог, можно сказать, что эта статья является официальным справочником обо всем, что вам нужно знать о технических лабораториях сообщества MLOps.
Я заставляю себя дать краткую и ясную картину путешествия, подробно описывая каждую фазу.
Чтобы сразу перейти к делу, я использовал в качестве примера 1-ю инженерную лабораторию. И я провел математику, чтобы показать вам, насколько ценна эта инициатива.
Наконец, я предоставил контактную информацию на случай, если убедил вас присоединиться к нам. Действительно, как сказал бы дядя Сэм
