Glossário IA
O dicionário completo da Inteligência Artificial
Attention Matrix
Matriz quadrada que representa os pesos de atenção entre todos os pares de elementos de uma sequência, visualizando os padrões de interdependência aprendidos pelo modelo.
Encoder-Decoder Attention
Mecanismo onde o decodificador atenta às saídas do codificador, permitindo a geração de sequências condicionadas por uma sequência fonte nos modelos seq2seq.
Masked Self-Attention
Autoatenção com mascaramento das posições futuras para evitar que os elementos vejam informações posteriores, essencial em tarefas de geração de texto.
Softmax Normalization
Função de ativação que transforma os escores de atenção em distribuição de probabilidades, garantindo que a soma dos pesos de atenção seja igual a 1 para cada posição.
Attention Head
Subcomponente da atenção multi-head que realiza um cálculo de atenção independente com seus próprios parâmetros, capturando um tipo específico de relação sequencial.
Attention Dropout
Regularização aplicada aos pesos de atenção durante o treinamento, desativando aleatoriamente certas conexões para prevenir o sobreajuste dos padrões de atenção.
Multi-Scale Attention
Variante de atenção que processa simultaneamente dependências em diferentes escalas temporais ou espaciais, combinando campos receptivos variados para uma compreensão hierárquica.