Glossário IA
O dicionário completo da Inteligência Artificial
Temperatura de Destilação
Parâmetro hipertérmico aplicado na função softmax para controlar o amolecimento das probabilidades do modelo teacher, permitindo ao student aprender relações entre classes para além das previsões mais prováveis.
Destilação Camada a Camada
Técnica de destilação onde as representações intermediárias de cada camada do teacher são transferidas para as camadas correspondentes do student, garantindo uma aprendizagem progressiva das características em todos os níveis de abstração.
Destilação Contrastiva
Técnica que utiliza pares de contrastes para melhorar a qualidade da destilação, onde o student aprende simultaneamente a imitar o teacher e a diferenciar-se das amostras negativas.
Destilação entre Arquiteturas
Método de transferência de conhecimento entre modelos de arquiteturas diferentes, como destilar um transformer para uma arquitetura CNN ou RNN, permitindo flexibilidade na implantação alvo.
Poda de Conhecimento
Processo combinado de poda de parâmetros e destilação onde os pesos menos importantes são removidos do modelo, e depois a destilação compensa a perda de desempenho resultante da poda.
Destilação Dinâmica
Abordagem adaptativa onde a força da destilação e a escolha dos alvos são ajustadas dinamicamente durante o treinamento de acordo com o progresso do student e a dificuldade das amostras.
Destilação Zero-shot
Técnica que permite destilar um modelo teacher sem dados de treinamento explicitamente rotulados, utilizando conhecimentos implícitos ou dados sintéticos gerados pelo teacher.
Destilação Sensível à Relação
Método avançado onde o student aprende não apenas as previsões individuais do teacher, mas também as relações estruturais entre diferentes partes dos dados, capturando dependências complexas.
Destilação Ciente de Compressão
Estratégia que integra as restrições de hardware de compressão (quantização, esparsificação) diretamente no processo de destilação para otimizar o desempenho pós-compressão do modelo final.