Глоссарий ИИ
Полный словарь искусственного интеллекта
Языковая модель
Статистическая или нейронная система, которая вычисляет вероятность появления последовательностей слов в языке. Эти модели изучают контекстуальные и синтаксические зависимости из больших текстовых корпусов для генерации или оценки естественного языка.
Архитектура Трансформер
Нейронная архитектура, основанная на механизмах внимания, которая обрабатывает последовательности параллельно без временных зависимостей. Трансформеры произвели революцию в языковых моделях благодаря своей способности улавливать дальнодействующие зависимости.
GPT
Семейство генеративных языковых моделей, основанных на архитектуре Трансформер, декодирующей только слева направо. Модели GPT специализируются на генерации связного текста и дополнении последовательностей.
N-граммы
Статистические языковые модели, основанные на марковском предположении, что вероятность слова зависит только от предыдущих n-1 слов. N-граммы составляют классический подход к языковым моделям до эпохи нейронных сетей.
RNN
Рекуррентная нейронная сеть, обрабатывающая последовательности, поддерживая скрытое состояние, которое изменяется с каждым токеном. RNN были одними из первых нейронных архитектур, примененных к языковым моделям для улавливания временных зависимостей.
LSTM
Усовершенствованный вариант RNN, использующий ворота забывания и памяти для управления долгосрочными зависимостями. LSTM преодолели проблему исчезающего градиента традиционных RNN в приложениях моделирования языка.
Причинные языковые модели
Модели, обученные предсказывать следующее слово, основываясь только на предыдущих словах в последовательности. Причинные модели особенно подходят для задач генерации текста и дополнения.
Маскированные языковые модели
Модели, обученные предсказывать замаскированные слова в последовательности, используя полный двунаправленный контекст. Этот подход позволяет лучшее понимание контекста для задач анализа и классификации.