Глоссарий ИИ
Полный словарь искусственного интеллекта
Матрицы низкого ранга
Математическое представление, где матрица выражается как произведение двух матриц меньшего размера с пониженным рангом. Эта декомпозиция позволяет сократить количество необходимых параметров, сохраняя при этом существенную информацию о преобразованиях.
Эффективность памяти
Оптимизация использования оперативной памяти и видеопамяти при обучении и выводе моделей ИИ. Такие методы, как LoRA, позволяют значительно сократить потребление памяти за счет ограничения изменяемых параметров.
Обучаемые параметры
Подмножество весов нейронной сети, которые фактически изменяются в процессе обучения. В LoRA только небольшой процент (обычно 0.1-1%) от общего количества параметров являются обучаемыми.
Ранговая декомпозиция
Алгебраическая техника факторизации матрицы весов W в W + BA, где B и A - матрицы низкого ранга. Эта декомпозиция составляет математическую основу адаптации LoRA.
Эффективный тонкая настройка
Парадигма адаптации предварительно обученных моделей, направленная на минимизацию необходимых вычислительных ресурсов и памяти. Такие методы, как LoRA, адаптеры или префикс-тюнинг, позволяют специализировать модели без изменения всех их параметров.
PEFT (Parameter-Efficient Fine-Tuning)
Категория методов адаптации моделей, направленных на изменение минимального количества параметров при тонкой настройке. LoRA является одним из самых популярных подходов PEFT наряду с адаптерами, префикс-тюнингом и мягкими промптами.
Коэффициент масштабирования Alpha
Ключевой гиперпараметр в LoRA, контролирующий амплитуду адаптации, применяемой к исходным весам. Этот масштабный коэффициент регулирует относительное влияние матриц низкого ранга по сравнению с предварительно обученными весами.
Multi-LoRA
Архитектура, позволяющая одновременно применять несколько специализированных адаптаций LoRA к одной базовой модели. Этот подход облегчает быстрое переключение между различными задачами или областями знаний без полной перезагрузки модели.
Адаптация без примеров
Способность модели, адаптированной с помощью LoRA, обобщать на задачи или области, не встречавшиеся во время обучения адаптации. Это свойство возникает из-за сохранения общих знаний базовой модели при добавлении целевых специализаций.
Гиперпараметр ранга LoRA
Параметр, определяющий размерность матриц низкого ранга в разложении LoRA, контролирующий компромисс между выразительностью и эффективностью. Типичные значения ранга варьируются от 4 до 64 в зависимости от сложности задачи адаптации.
Слияние весов
Процесс интеграции адаптаций LoRA в веса базовой модели для устранения вычислительной нагрузки во время вывода. Это слияние позволяет получить стандартную модель с той же производительностью, что и адаптированная версия.