Glossário IA
O dicionário completo da Inteligência Artificial
Codificador-Decodificador
Arquitetura bidirecional onde o codificador processa a sequência de entrada e o decodificador gera a sequência de saída. Esta estrutura permite tarefas de transformação como tradução automática ou resumo de texto.
Atenção Mascarada
Mecanismo de atenção onde certas posições são mascaradas para impedir que o modelo acesse informações futuras. Essencial nos decodificadores para garantir a geração autorregressiva durante a inferência.
Feed-Forward Ponto a Ponto
Rede neural aplicada de forma idêntica e independente a cada posição da sequência. Transforma as representações após o mecanismo de atenção introduzindo não-linearidade.
Peso de Atenção
Pontuações normalizadas por softmax que determinam a importância relativa de cada elemento durante o cálculo da atenção. Esses pesos são usados para ponderar a combinação linear dos valores.
Camada de Dropout
Técnica de regularização que desativa aleatoriamente neurônios durante o treinamento para prevenir sobreajuste. Aplicada após as camadas de atenção e feed-forward nos Transformers.