Glossário IA
O dicionário completo da Inteligência Artificial
Token mascarado
Token em uma sequência textual substituído por um símbolo especial [MASK] durante o treinamento, forçando o modelo a aprender a prever o token original.
BERT
Arquitetura revolucionária de Transformer pré-treinada usando MLM para entender o contexto bidirecional da linguagem natural.
RoBERTa
Versão otimizada do BERT que elimina a Previsão da Próxima Frase (Next Sentence Prediction) e utiliza mascaramento dinâmico com hiperparâmetros aprimorados.
Atenção bidirecional
Mecanismo que permite a cada token atender tanto aos tokens anteriores quanto aos seguintes na sequência, ao contrário dos modelos unidirecionais.
Embeddings de token
Representações vetoriais densas dos tokens de entrada que capturam suas características semânticas e sintáticas.
Mascaramento dinâmico
Estratégia de mascaramento onde os tokens mascarados mudam a cada época de treinamento, melhorando a robustez do modelo, como no RoBERTa.
Mascaramento de Palavra Completa (WWM)
Técnica avançada que mascara todos os subtokens de uma palavra inteira, em vez de tokens individuais aleatórios.
Mascaramento de trecho
Estratégia que mascara sequências contíguas de tokens de comprimentos variáveis, imitando melhor os fenômenos linguísticos naturais.
Estratégia de mascaramento
Conjunto de regras que determinam quais tokens mascarar, com que probabilidade e como substituí-los durante o treinamento MLM.