Глоссарий ИИ
Полный словарь искусственного интеллекта
Слои адаптера
Легковесные нейронные модули, вставляемые между слоями предварительно обученной модели для адаптации к новым задачам. Эти дополнительные слои являются единственными, которые обучаются при тонкой настройке, сохраняя исходные знания модели.
Прогрессивная тонкая настройка
Стратегия адаптации, при которой тонкая настройка начинается с верхних слоев модели и постепенно продвигается к нижним слоям. Этот подход помогает сохранить фундаментальные представления, одновременно адаптируя специализированные слои.
Задача-специфичная голова
Дополнительный модуль, добавляемый к предварительно обученной модели для адаптации к конкретной задаче, такой как классификация или генерация. Эта голова обычно обучается отдельно или в комбинации с частичной тонкой настройкой модели.
Замораживание слоев
Техника, заключающаяся в сохранении весов определенных слоев модели неизменными во время тонкой настройки. Этот подход позволяет сохранить фундаментальные знания, адаптируя только верхние слои к новой задаче.