Глоссарий ИИ
Полный словарь искусственного интеллекта
Эффективная тонкая настройка параметров (PEFT)
Методы тонкой настройки, которые изменяют только небольшое подмножество параметров модели, сохраняя большинство весов замороженными, тем самым снижая вычислительные затраты и затраты на хранение.
QLoRA (Квантованная LoRA)
Вариант LoRA, который сочетает 4-битное квантование и адаптацию низкого ранга, позволяя проводить тонкую настройку очень больших моделей на ограниченных аппаратных ресурсах.
Настройка префикса
Метод, который оптимизирует только непрерывные префиксы, добавленные к входным последовательностям, без изменения весов модели, для адаптации её поведения к конкретным задачам.
Настройка промпта
Оптимизация эмбеддингов промптов, специально изученных для управления поведением предварительно обученной модели без изменения её внутренних параметров.
Тонкая настройка по инструкциям
Процесс дополнительного обучения на парах инструкция-ответ, чтобы научить модель точно следовать указаниям и генерировать соответствующие ответы.
DPO (Прямая оптимизация предпочтений)
Альтернатива RLHF, которая напрямую оптимизирует модель на основе данных о человеческих предпочтениях без необходимости в промежуточной модели вознаграждения, упрощая процесс согласования.