Архитектура кодировщик-декодировщик

Каузальное маскирование

Техника, применяемая в декодере для предотвращения того, чтобы каждая позиция обращала внимание на будущие позиции, обеспечивая таким образом авторегрессионный характер генерации и отсутствие утечки информации.

← Назад