Interpretabilidade dos Mecanismos de Atenção

Regularização da Atenção (Attention Regularization)

Técnica de treinamento que adiciona uma penalidade à função de perda para encorajar esquemas de atenção específicos, como uma maior diversidade entre as cabeças ou uma maior parcimônia.

← Voltar