Публикации по теме 'naturallanguageprocessing'
Тонкая настройка BERT для классификации твитов о стихийных бедствиях.
BERT (двунаправленное представление для трансформаторов) был впервые предложен Google в 2018 году. В 2019 году Google объявил, что начал использовать BERT в своей поисковой системе, а к концу 2020 года он использовал BERT почти в каждом англоязычном запросе. Хотя основной целью этого было улучшение понимания значения запросов, связанных с поиском Google, BERT становится одной из наиболее важных и полных архитектур для различных задач на естественном языке, генерируя самые современные..
Почему измерение «достоверности» имеет значение для интерпретации моделей ИИ
Интерпретация НИКОГДА не будет хорошей, если она НЕ отражает поведение модели.
Схема
Мотивирующий пример в классификации последовательностей с помощью BERT Что такое «верность»? Простой пример измерения верности
Мотивирующий пример
Предположим, что мы обучили модель BERT на наборе данных классификации анализа настроений. После оценки модель правильно классифицирует следующую входную последовательность в класс «1» (положительный), т.е.
Теперь нам интересно..
Все, что вам нужно знать о «Внимании» и «Трансформерах» — Углубленное понимание — Часть 1
Внимание, Само-Внимание, Многоголовое Внимание и Трансформеры
Это длинная статья, в которой рассказывается почти обо всем, что нужно знать о механизме внимания, включая самостоятельный поиск, запрос, ключи, значения, внимание с несколькими головками, внимание с несколькими головками в маске и преобразователи, включая некоторые подробности о BERT и GPT. Поэтому я разделил статью на две части. В этой статье я расскажу обо всех блоках Attention, а в следующей истории я углублюсь в..
Современные решения искусственного интеллекта: (1) Google BERT, модель искусственного интеллекта, которая понимает язык лучше, чем…
В последнее время искусственный интеллект все чаще применяется в бизнесе и повседневной жизни, особенно в сферах финансов, здравоохранения, управления персоналом, музыки и издательского дела ( ссылка ). Успех искусственного интеллекта в этих областях во многом обусловлен новыми инновационными решениями искусственного интеллекта для решения реальных проблем.
Чтобы помочь вам быть в курсе последних тенденций в области решений искусственного интеллекта, мы в AI Network работаем над серией..
Будущее ChatGPT
Будущее ChatGPT
Как языковая модель ИИ, ChatGPT находится в авангарде быстро развивающейся области искусственного интеллекта и обработки естественного языка. ChatGPT уже добился значительных успехов в предоставлении высококачественной, точной и актуальной информации пользователям по всему миру. В этом эссе мы рассмотрим будущее ChatGPT и возможные последствия его развития для общества.
Одним из наиболее значительных достижений в области ИИ за последние годы стало быстрое улучшение..
Токенизация — Полное руководство
Обработка естественного языка | Предварительная обработка текста
Обновленная версия этой статьи перемещена на мой сайт .
В сегодняшнем выпуске 📺:
Так что же такое токенизация? А что такое токен? Почему мы токенизируем? Типы токенизации Несколько слов о лингвистике! Как токенизировать? Текстовый корпус Токенизация с помощью функции `split()` Токенизация с помощью NLTK Токенизация с помощью spaCy Как токенизация происходит под капотом в spaCy В заключение
🤖 TLDR:..
Визуализация тегов части речи с помощью NLTK и SpaCy
Настройка визуализатора сущностей displaCy
В этом уроке мы разработаем функцию для визуализации тегов части речи (POS) с помощью NLTK и SpaCy .
Полученная функция превратит это
в это:
Мотивация
Теги POS – это метод, используемый при обработке естественного языка. Он классифицирует токены в тексте как существительные, глаголы, прилагательные и так далее. В Python для этой цели можно использовать библиотеку NLTK .
import nltk
from nltk import word_tokenize
text =..
Новые материалы
Конфигурация Gulp для WordPress - Часть II
Здесь мы переходим ко второй части руководства по настройке Gulp для оптимальной разработки WordPress. Если вы пропустили первую часть, где мы установили все модули, необходимые для задач,..
LACTF — сеть/метавселенная
В lactf я смог решить задачу веб/метавселенной.
Ниже приведен исходный код, предоставленный здесь
Из исходного кода видно, что флаг — это отображаемое имя администратора...
GraphQL — Язык запросов — Часть 1
Первое, что нужно знать: GraphQL — это спецификация (как она должна работать и выглядеть), а не реализация. GraphQL не нужно устанавливать, вы реализуете его с помощью серверной библиотеки,..
Будущее машинного обучения в Индии
Будучи связанным с интенсивно развивающимся языком, непрерывные технологические достижения наверняка поразят сектор машинного обучения, который вот-вот сформирует долгосрочную перспективу машинного..
Сравнение Clojure IDE — Emacs/Cider и IDEA/Cursive
Введение
Недавно я редактировал сообщение в блоге, в котором брал интервью у жителей Метосинии относительно их любимых редакторов Clojure . Было довольно интересно увидеть, что используется..
Строки, регулярные выражения и шаблонные литералы — Часть 1 | Понимание ES6
Строки, несомненно, являются одним из самых важных типов данных в любом языке программирования.
Строки есть практически в каждом языке программирования, и научиться их эффективному..
7 признаков того, что вы все еще начинающий веб-разработчик
В этой статье я расскажу о 7 признаках того, что вы все еще начинающий веб-разработчик. Это вещи, в которые время от времени могут впадать даже опытные разработчики, поэтому не беспокойтесь,..