Glossário IA
O dicionário completo da Inteligência Artificial
Arquitetura Seq2Seq
Modelo de aprendizado profundo composto por um codificador e um decodificador projetado para transformar sequências de comprimento variável em outras sequências. Esta arquitetura é fundamentalmente usada para tarefas de tradução automática, resumo de texto e geração de diálogo.
Teacher Forcing
Estratégia de treinamento onde o decodificador recebe os verdadeiros valores anteriores como entrada em vez de suas próprias previsões, acelerando a convergência. Esta técnica estabiliza o aprendizado mas pode criar uma divergência entre treinamento e inferência conhecida como exposure bias.
Masking
Procedimento consistindo em mascarar certas posições das sequências para evitar que o modelo processe informações irrelevantes ou futuras. O masking é essencial para gerenciar sequências de comprimentos variáveis e prevenir trapaça durante o treinamento auto-regressivo.
Vetor de embedding
Representação vetorial densa de tokens discretos que captura relações semânticas e sintáticas em um espaço contínuo. Os embeddings são aprendidos durante o treinamento e constituem a entrada fundamental dos modelos de processamento de sequências.
Gated Recurrent Unit
Variante simplificada das LSTM usando duas portas (atualização e reinicialização) para regular o fluxo de informações com menos parâmetros. As GRU oferecem desempenho comparável às LSTM sendo mais eficientes computacionalmente.
Greedy Search
Estratégia de decodificação que seleciona sistematicamente o token com a maior probabilidade em cada etapa de geração. Embora rápida, esta abordagem pode levar a soluções subótimas pois não considera sequências alternativas.
Bi-direcionalidade
Capacidade do codificador de processar a sequência de entrada em ambas as direções (frente e trás) para capturar o contexto completo. Codificadores bidirecionais melhoram a compreensão semântica considerando tanto o contexto passado quanto futuro.
Embeddings de subpalavras
Técnica de tokenização que divide palavras em unidades morfológicas menores, permitindo gerenciar palavras raras e vocabulário aberto. Embeddings de subpalavras como BPE ou WordPiece tornaram-se o padrão nos modelos modernos.