Glossário IA
O dicionário completo da Inteligência Artificial
Arquitetura Teacher-Student
Framework onde um modelo teacher treina um modelo student, transferindo seu conhecimento implícito através de soft targets e regularizações.
Destilação de Mapas de Características
Método de transferência de conhecimento no nível das representações intermediárias do modelo, em vez de no nível das previsões finais.
Transferência de Atenção
Transferência dos mapas de atenção do teacher para o student para preservar as regiões importantes identificadas pelo modelo complexo.
Destilação de Conhecimento de Relação
Abordagem que preserva as relações estruturais entre as amostras de treinamento, em vez do conhecimento individual.
Autodestilação
Processo onde um modelo se autoaperfeiçoa, transferindo seu conhecimento para uma versão mais profunda ou mais ampla de si mesmo.
Destilação Progressiva
Método iterativo de destilação onde o student se torna progressivamente o teacher para modelos ainda mais compactos.
Destilação de Conhecimento Online
Abordagem onde múltiplos modelos se treinam mutuamente em tempo real, sem a necessidade de um teacher pré-treinado.
Destilação Cross-Domain
Técnica de transferência de conhecimento entre modelos que operam em domínios diferentes, mas que compartilham estruturas subjacentes semelhantes.
Aprendizagem Contínua via Destilação
Aplicação da destilação para preservar o conhecimento adquirido durante a aprendizagem contínua e evitar o esquecimento catastrófico.
Destilação de Conjunto
Compressão de um conjunto de modelos em um único modelo compacto, preservando a diversidade do conhecimento coletivo.
Busca de Arquitetura Neural com Destilação
Integração da destilação no processo NAS para guiar a busca por arquiteturas eficientes que preservem o desempenho.
Destilação de Conhecimento Contrastiva
Abordagem que utiliza contrastes positivos e negativos para transferir representações discriminativas do professor para o aluno.