Глоссарий ИИ
Полный словарь искусственного интеллекта
Архитектура кодировщик-декодировщик
Фундаментальная структура моделей Трансформеров, сочетающая кодировщик, который обрабатывает и понимает входную последовательность, и декодировщик, который генерирует выходную последовательность авторегрессионным способом.
Стек кодировщиков
Наложение нескольких одинаковых слоев кодировщика, каждый из которых сочетает многоголовое внимание и прямую нейронную сеть, постепенно преобразуя входные представления в более богатые абстракции.
Стек декодировщиков
Наложение слоев декодировщика, которые генерируют выходную последовательность токен за токеном, объединяя как маскированное самовнимание, так и перекрёстное внимание для моделирования временных зависимостей и отношений вход-выход.
Блок Трансформера
Фундаментальная вычислительная единица, объединяющая механизм многоголового внимания, остаточные соединения, нормализацию слоя и прямую нейронную сеть, составляющая основу кодировщиков и декодировщиков.