Глоссарий ИИ
Полный словарь искусственного интеллекта
Архитектура Трансформер
Нейронная структура, основанная на механизмах внимания, которая позволяет параллельную обработку текстовых последовательностей
Токенизация
Процесс сегментации текста на дискретные единицы (токены) для обработки моделями
Тонкая настройка
Специализированная адаптация предварительно обученной модели на специфических данных для целевых задач
Инженерия промптов
Оптимизация формулировок инструкций для эффективного направления ответов языковых моделей
Механизм внимания
Система, позволяющая модели взвешивать важность различных частей текста при обработке
Векторные представления языка
Плотные векторные представления, которые захватывают семантическое значение слов и фраз
Трансферное обучение
Использование знаний, полученных на большом корпусе данных, для конкретных задач с малым количеством данных
Законы масштабирования
Математические принципы, описывающие улучшение производительности с увеличением размера модели
Обучение с нулевым разгоном
Способность моделей выполнять задачи, не встречавшиеся во время обучения, без примеров
Мультимодальные модели
LLM, интегрирующие обработку текста, изображений, аудио и других модальностей в единую структуру
Квантизация
Снижение численной точности весов модели для оптимизации вывода и хранения
RAG (Retrieval-Augmented Generation)
Комбинация извлечения внешней информации с генерацией для повышения точности ответов
Выравнивание и безопасность
Методы обеспечения соответствия моделей человеческим ценностям и предотвращения вредоносного поведения
Авторегрессионные модели
Генеративная архитектура, предсказывающая следующий токен на основе всех предыдущих токенов
LoRA (Low-Rank Adaptation)
Эффективный метод тонкой настройки с использованием матриц низкого ранга