За каждым великим стартапом стоит замечательная команда инженеров по исследованиям и разработкам. Это был один из тех величайших моментов, когда Treselle Systems получила простую, но красивую открытку от нашего клиента, Discern. С таким количеством великих умов в Discern мы очень гордимся тем, что являемся ЕДИНСТВЕННОЙ командой инженеров, которая помогла превратить отличные идеи в удивительный продукт. Это было настоящее путешествие, и это требует случая, чтобы поделиться некоторыми достижениями.

Цитата от Anthea Stratigos, генерального директора Outsell о Discern — Готовы ли ваши данные?:

Гарри Блаунт, генеральный директор DISCERN создал то, что Google делает для изображений, но для данных. Он агностичен и имеет визуальный интерфейс, а не скучные ряд за рядом текстовых строк… так вчера. Эта платформа… так что теперь.

Особенности:

  • Увеличился с 2 до 40 + инженеров, включая технических архитекторов, руководителей проектов, инженеров по бэкенду, инженеров по данным, инженеров по науке о данных, разработчиков баз данных, инженеров по внешнему интерфейсу и инженеров по контролю качества. Да, мы на 98% составляем инженерную команду, расположенную в Ченнаи, Индия.
  • Одна и та же команда работала над несколькими секторами, такими как здравоохранение, энергетика, розничная торговля и недвижимость, что требовало глубокого переключения контекста между этими несколькими секторами для разработки и выпуска в течение одного и того же двухнедельного цикла спринта.
  • Реализованы сложные статистические распределенные вычисления, геопространственный анализ, интеллектуальный анализ текста, обработка естественного языка и модели машинного обучения для однорангового сравнения, обратного тестирования, прогнозирования, сопоставления сущностей, силы и ранга, анализа тенденций, прогнозов, свертки для нескольких географических регионов США и т. д. .
  • Выпущено около 4 MVP в различных секторах для демонстраций клиентов, выездных презентаций и встреч с инвесторами, чтобы получить отзывы от клиентов и инвесторов.
  • Спроектировал, спроектировал и внедрил унифицированную платформу SaaS для всех секторов с непрерывными циклами разработки и выпуска, охватывающими около 4500 Jira.
  • Разработал единственную в своем роде модель данных Energy с основными данными и данными транзакций, ссылаясь на несколько журналов и исследовательских работ, основанных на объемах добычи энергетических скважин. Аналогичная модель объекта применялась в других секторах и называлась моделью данных Discern (DDM), которая стала одной из ИС Discern.
  • Внедрена запатентованная платформа управления данными, способная принимать различные структуры данных и форматы файлов, включая копии EBCDIC Cobol Copybooks, очищенный контент, плоские файлы, структурированный и неструктурированный контент, который проходит через конвейерную обработку для дальнейших вычислений.
  • Заменил большую команду Mechanical Turk workforce в рамках приобретения и сократил размер команды с 40 до 10 за счет внедрения многочисленных процессов автоматизации, включающих НЛП и машинный интеллект.
  • Разработан и реализован бесконечный поиск по бизнес-данным, способный извлекать компании, продукты, рынки и активы для отображения результатов в различных визуализациях (например, географическая карта, линейная/гистограмма, паутинная диаграмма и т. д.) в зависимости от типа объекта.
  • Другое:
  1. Сэкономлено 70 % от полной стоимости каждого инженерного ресурса.
  2. Сократите найм инженера с месяцев до 1 недели
  3. Эффективно управлять несколькими конкурирующими приоритетами:
  4. Выполнение текущей дорожной карты продукта
  5. Стратегия новых архитектурных изменений
  6. Учет текущих запросов клиентов
  7. Использование новых возможностей продаж
  8. Интеграция новых продуктов, технологий приобретенных компаний и Других без перерасхода имеющихся ресурсов
  9. Снижение выгорания инженера на стороне заказчика
  10. Улучшение качества продукта

Что внутри:

Примечание. Приведенные ниже статистические данные являются приблизительными источниками исходных данных. Некоторые из них преобразовываются и транспонируются экспоненциально во время процесса конвейера ниже по течению.

  1. Энергия: ~20 источников данных и 1 миллиард строк (структурированных и полуструктурированных).
  2. Недвижимость: ~12 источников данных и 500 миллионов строк (структурированных и полуструктурированных).
  3. Розничная торговля: около 1300 источников данных и 10 миллионов документов (крайне неструктурированных).
  4. Здравоохранение: около 900 источников данных и 6 млн документов (крайне неструктурированных).
  5. Глобальный: ~5 источников данных и 5 миллиардов строк (в основном структурированных)
  6. Документов в ElasticSearch: ~5 миллионов (только проиндексированные)
  7. Объекты в базе данных Graph: ~4 миллиона узлов и 22 миллиона взаимосвязей.
  8. Диаграммы: ~ 250 тыс. (статические диаграммы) и бесконечное количество диаграмм в реальном времени.
  9. Сущностей в основных данных: ~ 4 миллиона
  10. Счетчик Geo Map Grid: около 2 миллионов (на нескольких торговых площадях, квадратных миль)
  • Статистические вычисления: пересечение (внутри и снаружи), N-е место с самой высокой и самой низкой корреляцией, последовательное изменение в годовом исчислении, 90-дневная средняя медианная цена, оценочная частота пересмотра +/- 5% консенсуса FFO/акция оценки за следующие и предыдущие 4 квартала, изменения прогноза ранга, арбитражное событие: когорта корня с наивысшей оценкой инноваций между этой и предыдущей неделей, кумулятивное отклонение производства за 2 STD, 180 и 365 дней Процентильный рейтинг за 90, 180, 365 дней , RSI, конус Дюпона, модель среднего отклонения, теория экстремальных значений и многое другое.
  • НЛП и интеллектуальный анализ текста: наивное байесовское вероятностное сопоставление, расстояние Левенштейна, Смит-Уотерман, Жаккард, анализ настроений, разрешение именования сущностей и многое другое
  • Модели машинного обучения: логистическая регрессия, Broyden Fletcher Goldfardb Shanno, анализ кривой падения Арпса, случайный лес, деревья решений, автоэнкодеры, K-средние и K-медиод и многие другие
  • Геопространственные данные: анализ пробелов, анализ насыщения, анализ времени в пути и торговой зоны, демографические сводки по стране, региону, MSA, городу, почтовому индексу, бассейну, формации, активам, геокодированию, географическому расстоянию, корпусу и многое другое

Отзывы:

  • Гарри Блаунт, генеральный директор Discern: я очень уважаю руководство Treselle и их команду. Я настоятельно рекомендую любой компании, которой требуется отличная разработка программного обеспечения, нанять их. Высшее руководство Treselle имеет опыт сотрудничества с DISCERN для обсуждения стратегического направления развития технологий, компромиссов в бизнесе и участия в презентациях для клиентов.
  • Трой Хансен, директор по обеспечению целостности и улучшению данных: за более чем 30 лет работы над программными проектами я работал с более чем 1000 инженеров-программистов, но с Треселлом я впервые работал в офшорной команде. Я слышал все ужасные истории о приманке и переключении инженеров, недоступности, плохих коммуникациях или отговорках, доставке плохого, неполного кода. Я могу честно сказать, что команда Treselle совсем не такая. Они ничуть не хуже любой команды разработчиков, с которой я работал.

Использованная литература:

О Treselle Systems:

Treselle Systems — отмеченная наградами компания, предоставляющая технологические услуги и разрабатывающая продукты, со штаб-квартирой в США и офисами в Кэмпбелле, Калифорния. Мы помогаем клиентам разрабатывать продукты и реализовывать ИТ-проекты в области больших данных, облачных и корпоративных приложений. У нас также есть большой опыт в управлении базами данных (SQL и NoSQL), интеграции технологий, разработке пользовательского интерфейса и услугах по тестированию.

Treselle Systems была признана

  1. 50 лучших рабочих мест 2016 года по версии Silicon Review
  2. 100 самых многообещающих поставщиков решений для работы с большими данными, 2016 г. — по версии CIO Review
  3. 50 самых влиятельных поставщиков больших данных — CIOStory
  4. 25 самых многообещающих поставщиков аутсорсинга больших данных в 2015 году по версии Outsourcing Gazette

Сайт: http://www.treselle.com

Блоги: http://www.treselle.com/blog