Глоссарий ИИ
Полный словарь искусственного интеллекта
Архитектура Transformer
Революционная нейронная структура, основанная на механизме внимания, которая является основой современных LLM.
Механизм внимания
Процесс, позволяющий моделям взвешивать важность различных токенов в последовательности для понимания контекстуальных отношений
Предварительное обучение и корпуса
Начальный этап обучения на миллиардах токенов для приобретения общих знаний о языке и мире.
Супервизивная тонкая настройка
Процесс адаптации предварительно обученной LLM к конкретным задачам с использованием размеченных данных.
Токенизация
Процесс преобразования текста в дискретные единицы (токены), которые модели могут обрабатывать математически.
Промпт-инженерия
Искусство и наука разработки оптимальных инструкций для управления большими языковыми моделями (LLM) с целью получения желаемых ответов.
RAG (Генерация с дополненным извлечением)
Техника, объединяющая поиск внешней информации и генерацию для улучшения точности и актуальности ответов.
Квантизация и оптимизация
Техники уменьшения размера моделей и ускорения вывода с сохранением производительности
RLHF (Reinforcement Learning from Human Feedback)
Метод выравнивания больших языковых моделей с человеческими предпочтениями с помощью обучения с подкреплением.
Агенты LLM
Системы, способные использовать LLM для рассуждений, планирования и выполнения сложных задач автономно.
Мультимодальность
Способность LLM обрабатывать и генерировать контент, объединяющий текст, изображения, аудио и другие модальности.
Бенчмарки и оценка
Метрики и стандартизированные наборы тестов для объективной измерения производительности LLM на различных задачах.
LoRA и эффективная тонкая настройка
Техники эффективной параметрической тонкой настройки, позволяющие адаптировать LLM с ограниченными вычислительными ресурсами.
Расширенное Контекстное Окно
Технические разработки, позволяющие LLM обрабатывать гораздо более длинные контексты для сложных приложений.
Безопасность и согласованность
Методы обеспечения того, что большие языковые модели выдают безопасные, этичные и соответствующие человеческим ценностям ответы.
Законы масштабирования
Математические принципы, определяющие взаимосвязь между размером моделей, обучающими данными и производительностью.
Вывод в реальном времени
Аппаратные и программные оптимизации для обеспечения мгновенных ответов LLM в производственной среде.