- AdaInt: изучение адаптивных интервалов для 3D-справочников при улучшении изображения в реальном времени(arXiv)
Автор:Цанцянь Ян, Мэйгуан Цзинь, Сюй Цзя, И Сюй, Ин Чен
Аннотация . 3D Lookup Table (3D LUT) – это высокоэффективный инструмент для задач по улучшению изображения в реальном времени, который моделирует нелинейное 3D-преобразование цвета путем его разреженной выборки в дискретную 3D-решетку. В предыдущих работах были предприняты попытки изучить адаптивные к изображению значения выходного цвета LUT для гибкого улучшения, но пренебрегали важностью стратегии выборки. Они принимают субоптимальное равномерное распределение точек выборки, ограничивая выразительность изученных LUT, поскольку (три-)линейная интерполяция между однородными точками выборки в преобразовании LUT может не смоделировать локальные нелинейности преобразования цвета. Сосредоточившись на этой проблеме, мы представляем AdaInt (Adaptive Intervals Learning), новый механизм для достижения более гибкого распределения точек выборки путем адаптивного изучения неравномерных интервалов выборки в трехмерном цветовом пространстве. Таким образом, 3D LUT может расширить свои возможности за счет проведения плотной выборки в цветовых диапазонах, требующих сильно нелинейных преобразований, и разреженной выборки для почти линейных преобразований. Предлагаемый AdaInt может быть реализован как компактный и эффективный модуль plug-and-play для метода на основе 3D LUT. Чтобы обеспечить сквозное изучение AdaInt, мы разрабатываем новый дифференцируемый оператор под названием AiLUT-Transform (адаптивная интервальная трансформация LUT), чтобы определять входные цвета в неоднородной 3D LUT и обеспечивать градиенты для интервалов выборки. Эксперименты показывают, что методы, оснащенные AdaInt, могут достичь самой современной производительности на двух общедоступных наборах данных эталонных тестов с незначительным увеличением накладных расходов. Наш исходный код доступен по адресу https://github.com/ImCharlesY/AdaInt.
2. LILLIPUT: легкий декодер на основе справочной таблицы с малой задержкой для краткосрочной квантовой коррекции ошибок(arXiv)
Автор:Поулами Дас, Адитья Лочарла, Коди Джонс
Вывод:Коэффициент ошибок квантовых устройств на несколько порядков выше, чем необходимо для запуска большинства квантовых приложений. Чтобы закрыть этот пробел, квантовая коррекция ошибок (QEC) кодирует логические кубиты и распределяет информацию, используя несколько физических кубитов. Путем периодического выполнения схемы извлечения синдрома на логических кубитах информация об ошибках (называемая синдромом) извлекается во время выполнения программ. Декодер использует эти синдромы для выявления и исправления ошибок в режиме реального времени, что необходимо для использования обратной связи, реализованной в квантовых алгоритмах. К сожалению, программные декодеры работают медленно, а аппаратные декодеры работают быстро, но менее точно. Таким образом, почти все исследования QEC до сих пор полагались на автономное декодирование. Чтобы обеспечить декодирование в реальном времени в краткосрочном QEC, мы предлагаем LILLIPUT — облегченный декодер справочной таблицы с малой задержкой. LILLIPUT состоит из двух частей. Во-первых, он преобразует синдромы в события обнаружения ошибок, которые индексируются в справочной таблице (LUT), запись которой предоставляет информацию об ошибках в режиме реального времени. Во-вторых, он программирует LUT с назначением ошибок для всех возможных событий ошибок, запуская программный декодер в автономном режиме. LILLIPUT допускает ошибку при любой операции квантового оборудования, включая вентили и измерения, и количество допустимых ошибок растет с увеличением размера кода. Он требует ‹7% логики на стандартных ПЛИС, что позволяет легко интегрировать его вместе со схемами управления и считывания в существующие системы. LILLIPUT имеет задержку в несколько наносекунд и обеспечивает декодирование в реальном времени. Мы также предлагаем сжатые LUT (CLUT), чтобы уменьшить объем памяти, необходимый LILLIPUT. Используя тот факт, что не все события ошибок равновероятны, и сохраняя данные только для наиболее вероятных событий ошибок, CLUT сокращают объем необходимой памяти до 107 раз (со 148 МБ до 1,38 МБ) без ухудшения точности.
3. Рекуррентные языковые модели Lookup-Table для распознавания речи с длинным хвостом(arXiv)
Автор:В. Ронни Хуанг, Тара Н. Сайнат, Кэл Пейсер, Шанкар Кумар, Дэвид Райбах, Тревор Строман
Аннотация: мы представляем языковые модели таблицы поиска (LookupLM), метод увеличения размера языковых моделей RNN только с постоянным увеличением операций с плавающей запятой за счет повышения выразительности таблицы встраивания. . В частности, мы создаем (дополнительную) таблицу встраивания, которая встраивает предыдущую последовательность токенов n-грамм, а не одиночный токен. Это позволяет произвольно масштабировать таблицу встраивания — с соответствующим увеличением производительности — без изменения словаря токенов. Поскольку вложения редко извлекаются из таблицы с помощью поиска; увеличение размера таблицы не добавляет ни дополнительных операций к каждому прямому проходу, ни дополнительных параметров, которые необходимо хранить в ограниченной памяти GPU/TPU. Мы изучаем масштабирование таблиц встраивания n-грамм почти до миллиарда параметров. При обучении на корпусе из 3 миллиардов предложений мы обнаружили, что LookupLM улучшает недоумение журнала длинного хвоста на 2,44 и WER длинного хвоста на 23,4% в нисходящей задаче распознавания речи по сравнению со стандартной базовой моделью языка RNN, улучшение, сравнимое с масштабированием. базовый уровень в 6,2 раза больше числа операций с плавающей запятой
