Glossário IA
O dicionário completo da Inteligência Artificial
DistilBERT (BERT Destilado)
Versão leve do BERT criada por destilação de conhecimento, mantendo 97% do desempenho do BERT base com apenas 40% dos parâmetros para uma inferência mais rápida.
Embeddings Posicionais
Vetores adicionados aos embeddings de tokens no BERT para codificar a posição sequencial, essenciais já que a atenção sozinha não captura a ordem dos tokens.
BERT-base vs BERT-large
Duas configurações principais do BERT: base (12 camadas, 768 dimensões ocultas, 110M parâmetros) e large (24 camadas, 1024 dimensões, 340M parâmetros) para diferentes compromissos desempenho/recursos.
Fine-tuning de BERT
Processo de adaptação dos pesos do BERT pré-treinado a tarefas específicas, adicionando camadas de classificação e treinando com dados rotulados da tarefa alvo.
Token [SEP]
Token especial usado no BERT para separar diferentes segmentos de texto (como pares de frases em tarefas de QA ou NSP), marcando os limites entre os segmentos.
Objetivos de Pré-treinamento
Tarefas auto-supervisionadas (MLM e NSP) usadas para pré-treinar o BERT em vastos corpora não rotulados, permitindo o aprendizado de representações linguísticas gerais.
Pilha de Codificadores Transformer
Arquitetura fundamental do BERT composta por múltiplas camadas de codificadores Transformer, cada uma com mecanismos de atenção multi-cabeça e redes feed-forward.
BERT Específico de Domínio
Variantes do BERT pré-treinadas em corpora especializados (BioBERT para biomédico, SciBERT para científico, FinBERT para financeiro) para melhor desempenho nesses domínios.
BERT Multilíngue (mBERT)
Versão do BERT pré-treinada em 104 idiomas com um vocabulário compartilhado, capaz de compreender e processar texto em várias línguas com um único modelo.
BERTologia
Campo de pesquisa dedicado à análise, interpretação e aprimoramento de modelos do tipo BERT, estudando seus comportamentos internos e suas capacidades linguísticas.