Глоссарий ИИ
Полный словарь искусственного интеллекта
Только Декодер
Структура нейронной сети, состоящая исключительно из блоков декодера Transformer, используемая для задач генерации текста в авторегрессивном режиме.
Авторегрессивное Предварительное Обучение
Фаза обучения, в которой модель изучает условные вероятности последовательности, максимизируя правдоподобие предсказания каждого токена с учетом его контекста.
Тонкая Настройка по Инструкциям
Процесс адаптации предварительно обученной модели на наборе данных пар (инструкция, вывод) для улучшения её способности следовать конкретным командам.
Инструктивная Модель (Instruct Model)
Вариант базовой модели, тонко настроенный для лучшего понимания и выполнения инструкций, оптимизированный для диалога и разговорной помощи.
Декодирование Поиском по Лучу (Beam Search)
Эвристический алгоритм декодирования, который сохраняет набор из 'k' наиболее вероятных кандидатов последовательностей на каждом шаге для улучшения согласованности генерации.
Ядерная Выборка (Nucleus Sampling / Top-p)
Техника выборки, ограничивающая выбор следующего токена набором токенов, чья кумулятивная вероятность превышает порог 'p', балансируя разнообразие и согласованность.
Температура Декодирования
Параметр, управляющий случайностью генерации путем деления логитов перед применением функции softmax, где высокое значение увеличивает креативность.
Абсолютное Позиционное Кодирование
Метод включения позиции токена в последовательность, использующий фиксированные или обучаемые синусоидальные векторы, необходимый для авторегрессивных моделей.
Кэш KV (Ключ-Значение Кэш)
Вычислительная оптимизация, которая сохраняет ключи и значения предыдущих токенов, чтобы избежать пересчета состояний внимания при последовательной авторегрессивной генерации.
Малоэтапное обучение (Обучение в контексте)
Способность модели изучать новую задачу на основе нескольких примеров, предоставленных непосредственно в контексте промпта, без обновления весов сети.
Смещение экспозиции
Феномен, при котором авторегрессивные модели, обученные предсказывать следующий токен на основе реальных данных, накапливают ошибки во время вывода, поскольку они подвергаются воздействию своих собственных ошибочных предсказаний.