Глоссарий ИИ

📖

термины

Поиск по лучу (Beam Search)

Алгоритм декодирования, который поддерживает несколько гипотез последовательностей параллельно на каждом шаге генерации. Поиск по лучу исследует несколько возможных путей для улучшения общего качества генераций.

📖

термины

Слой эмбеддингов (Embedding Layer)

Первый слой трансформера, который преобразует дискретные токены в непрерывные векторы высокой размерности. Эти эмбеддинги захватывают семантику и отношения между словами в плотном векторном пространстве.

📖

термины

Обратное распространение ошибки (Backpropagation)

Фундаментальный алгоритм обучения нейронных сетей, вычисляющий градиенты функции потерь по отношению к каждому параметру. Обратное распространение позволяет итеративно оптимизировать миллиарды параметров больших языковых моделей (LLM).