Glossário IA
O dicionário completo da Inteligência Artificial
Learning without Forgetting (LwF)
Abordagem que utiliza a destilação de conhecimento para preservar as respostas do modelo em dados antigos enquanto aprende uma nova tarefa. O modelo original serve como professor para guiar o modelo atualizado, evitando a degradação do desempenho em tarefas anteriores.
Orthogonal Gradient Descent (OGD)
Método que projeta o gradiente da nova tarefa no espaço ortogonal aos subespaços de gradientes das tarefas anteriores. Esta projeção garante que a aprendizagem de novas tarefas não interfira com as direções importantes para o desempenho passado.
Dynamical Expandable Networks (DEN)
Framework que expande dinamicamente a rede adicionando novas unidades e conexões quando necessário, enquanto reativa ou desativa seletivamente as conexões existentes. DEN adapta a capacidade do modelo às novas exigências sem degradar o desempenho anterior.
PackNet
Técnica de regularização que atribui sub-redes de neurônios específicas a cada tarefa através de máscaras binárias fixas e restrições de parcimônia. PackNet permite o empilhamento de múltiplas tarefas na mesma rede sem interferência, compartimentando os recursos.
HAT (Hard Attention to the Task)
Método que aprende máscaras de atenção binárias por tarefa para selecionar os pesos ativos da rede, criando assim caminhos dedicados para cada tarefa. HAT utiliza uma regularização para encorajar o uso de diferentes subconjuntos de pesos para diferentes tarefas.
CWR (Copy Weight with Reinit)
Estratégia que duplica os pesos do modelo após a aprendizagem de cada tarefa e reinicializa seletivamente alguns pesos para a aprendizagem da nova tarefa. CWR mantém uma cópia dos pesos importantes enquanto permite a adaptação para novos conhecimentos.
PathNet
Arquitetura evolucionária onde caminhos de neurônios são selecionados e otimizados para cada tarefa específica, utilizando algoritmos genéticos para encontrar as melhores combinações. PathNet permite a reutilização de módulos enquanto isola os parâmetros por tarefa.
Sup-Sup (Superposition of Superpositions)
Técnica que combina a superposição de pesos (superposição) com a superposição de tarefas (multi-tarefa) para maximizar a utilização dos parâmetros da rede. Sup-Sup permite que uma rede compacta armazene e execute simultaneamente múltiplas tarefas sem esquecimento.