Глоссарий ИИ
Полный словарь искусственного интеллекта
Адаптеры
Небольшие нейронные модули, вставляемые между слоями предварительно обученного Transformer, где только их параметры обучаются при тонкой настройке для адаптации модели к новой задаче.
P-Tuning v2
Эволюция prefix-tuning, где обучаемые параметры (непрерывные промпты) размещаются не только на входе, но и в каждом слое Transformer для лучшей производительности.
Дерево мыслей (ToT)
Продвинутая структура инженерии промптов, моделирующая рассуждение как исследование дерева, позволяя модели оценивать и выбирать между различными путями мышления.
Генерация знаний через промптинг
Двухэтапная техника, где модель сначала генерирует фактические знания по теме, а затем использует эти знания для ответа на вопрос, повышая точность.
Автоматический инженер промптов (APE)
Метод, использующий большую языковую модель для автоматической генерации и оптимизации промптов для заданной задачи на основе набора валидационных данных.
Контрастная тонкая настройка
Подход адаптации, использующий контрастную функцию потерь для сближения эмбеддингов правильных ответов и отдаления эмбеддингов неправильных ответов.
Многозадачная настройка промптов (MTPT)
Вариант настройки промптов, который изучает набор общих промптов для одновременного выполнения тонкой настройки на нескольких задачах, улучшая обобщение.