Glossário IA
O dicionário completo da Inteligência Artificial
ALBERT
Versão leve do BERT que reduz significativamente os parâmetros através da partilha de embeddings e da fatorização matricial das camadas. Mantém um desempenho competitivo enquanto é mais eficiente em termos de memória.
ELECTRA
Arquitetura de pré-treinamento eficiente que substitui a modelagem de linguagem mascarada pela substituição de tokens corrompidos. Utiliza um discriminador que identifica os tokens substituídos, permitindo um treinamento mais rápido e com melhor desempenho.
ERNIE
Modelo chinês que integra conhecimento estruturado e hierárquico na arquitetura base do Transformer. Mascara simultaneamente palavras, entidades e frases para capturar semânticas de múltiplos níveis.
BART
Arquitetura Transformer bidirecional e autorregressiva que combina as vantagens do BERT e do GPT. Utiliza um codificador-decodificador com corrupção de texto para o pré-treinamento, excelente para tarefas de geração.
Funnel Transformers
Arquitetura hierárquica que reduz progressivamente o comprimento das sequências através das camadas, preservando a informação importante. Economiza significativamente a memória computacional para sequências longas.
DeBERTa
Melhoria do BERT que integra decodificação aprimorada com atenção ao conteúdo e posição decompostos. Utiliza um mecanismo de atenção disentangled e um mascaramento de tamanho aprimorado para melhor desempenho.
TinyBERT
Versão ultracompacta do BERT que reduz os parâmetros em até 7.5 vezes, mantendo um alto desempenho. Aplica destilação bidirecional e atenção multinível para compressão.
CamemBERT
Versão francesa do BERT pré-treinada em 138GB de texto francês. Mantém a arquitetura original do BERT, mas é especializada para a compreensão e processamento do francês.
FlauBERT
Modelo de linguagem francês baseado em Transformer com pré-treinamento progressivo utilizando corpora cada vez maiores. Integra especificidades linguísticas do francês para um desempenho ótimo.
XLM-RoBERTa
Versão multilíngue do RoBERTa pré-treinada em 100 idiomas usando o massivo conjunto de dados Common Crawl. Supera XLM e mBERT graças a um pré-treinamento aprimorado e melhor gerenciamento de idiomas com poucos recursos.
Sentence-BERT
Modificação do BERT otimizada para a codificação de frases inteiras em vetores semânticos. Utiliza redes siamesas e triplas para produzir embeddings relevantes para a similaridade semântica.
VideoBERT
Extensão multimodal do BERT que aprende representações conjuntas de vídeo-texto. Realiza o pré-treinamento em tokens visuais e linguísticos para a compreensão de vídeo.
Controlled BERT
Variante do BERT que permite controlar os atributos de estilo durante a geração de texto. Integra controladores na arquitetura para modular as características linguísticas desejadas.