Glossário IA
O dicionário completo da Inteligência Artificial
Mecanismo de Atenção
Algoritmo que permite aos modelos ponderar a importância de diferentes elementos em uma sequência.
Autoatenção Multi-Cabeças
Extensão do mecanismo de atenção que permite capturar diferentes relações em paralelo.
Codificação Posicional
Técnica para injetar informações de posição em modelos sem recorrência.
Arquitetura Codificador-Decodificador
Estrutura fundamental dos transformers com dois componentes para processar sequências.
BERT e suas Variantes
Família de modelos pré-treinados bidirecionais para a compreensão da linguagem.
GPT e Modelos Generativos
Transformers autorregressivos otimizados para a geração de texto.
Fine-Tuning e Adaptação de Domínio
Processo de adaptação de modelos pré-treinados a tarefas ou domínios específicos.
Tokenização Subword
Técnicas de segmentação de texto em unidades significativas para transformers.
Vision Transformers
Aplicação da arquitetura transformer em tarefas de processamento de imagem.
Transformers para Sequências Longas
Arquiteturas otimizadas para gerenciar sequências que excedem os limites padrão.
Destilação de Modelos
Compressão de grandes transformadores em modelos menores e eficientes.
Engenharia de Prompt e Aprendizagem In-Contexto
Técnicas de interação com grandes modelos sem ajuste fino explícito.
Transformers Multimodais
Arquiteturas que combinam texto, imagens e outras modalidades de forma unificada.
Otimização e Escalabilidade
Técnicas para treinar eficientemente transformadores em larga escala.
Benchmarks e Avaliação
Métricas e conjuntos de dados padrão para avaliar o desempenho dos transformers.