Глоссарий ИИ
Полный словарь искусственного интеллекта
Маскированная языковая модель (Masked Language Model)
Цель обучения, при которой модель предсказывает случайно замаскированные слова в предложении, заставляя модель понимать двунаправленный контекст языка.
Архитектура «последовательность-последовательность» (Seq2Seq)
Архитектура нейронной сети, состоящая из двух частей: кодировщика, обрабатывающего входную последовательность, и декодировщика, генерирующего выходную последовательность, используемая для перевода и синтеза текста.
Нормализация по слою (Layer Normalization)
Техника регуляризации, которая стабилизирует обучение глубоких нейронных сетей путем нормализации активаций каждого слоя, ускоряя сходимость и улучшая производительность.
Токенизация подслов (Subword Tokenization)
Метод токенизации, который разбивает слова на более мелкие единицы (подслова), позволяя управлять конечным словарем, представляя редкие или неизвестные слова путем конкатенации известных подслов.