Глоссарий ИИ
Полный словарь искусственного интеллекта
Энкодер-Декодер
Двунаправленная архитектура, где энкодер обрабатывает входную последовательность, а декодер генерирует выходную последовательность. Эта структура позволяет выполнять задачи преобразования, такие как машинный перевод или суммаризация текста.
Маскированное Внимание
Механизм внимания, где определенные позиции маскируются, чтобы предотвратить доступ модели к будущей информации. Необходим в декодерах для обеспечения авторегрессионной генерации во время вывода.
Послойная Прямая Связь
Нейронная сеть, применяемая одинаково и независимо к каждой позиции последовательности. Преобразует представления после механизма внимания, внося нелинейность.
Вес Внимания
Нормализованные с помощью softmax оценки, которые определяют относительную важность каждого элемента при вычислении внимания. Эти веса используются для взвешенной линейной комбинации значений.
Слой Dropout
Техника регуляризации, которая случайным образом отключает нейроны во время обучения для предотвращения переобучения. Применяется после слоев внимания и прямой связи в Transformers.