Glossário IA
O dicionário completo da Inteligência Artificial
Otimização de Arquitetura Neural (NAS)
Processo de automação do design de arquiteturas de redes neurais ótimas para uma dada tarefa, explorando um vasto espaço de busca de topologias e hiperparâmetros.
Espaço de Busca de Arquitetura
Conjunto de todas as arquiteturas de redes neurais possíveis, definido por restrições como o número de camadas, os tipos de operações e os esquemas de conexão.
Modelo Substituto (Surrogate Model)
Modelo estatístico que aproxima a função de desempenho custosa de avaliar (treinamento de uma rede neural) para acelerar o processo de otimização.
Melhoria Esperada (Expected Improvement - EI)
Critério de função de aquisição que seleciona o próximo ponto a ser avaliado, maximizando a esperança de melhoria em relação ao melhor desempenho atual.
NAS Baseado em Aprendizado por Reforço (Reinforcement Learning-based NAS)
Abordagem NAS onde um controlador, frequentemente uma rede recorrente, aprende a gerar arquiteturas de rede neural maximizando uma recompensa de desempenho.
NAS Evolutivo (Evolutionary NAS)
Método NAS inspirado na evolução biológica, utilizando operadores de mutação e cruzamento em uma população de arquiteturas para encontrar as melhores.
Avaliação de Baixa Fidelidade (Low-Fidelity Evaluation)
Estratégia de estimativa do desempenho de uma arquitetura usando dados reduzidos, menos épocas de treinamento ou um subconjunto do conjunto de dados para reduzir os custos.
NAS Baseado em Gradientes (Gradient-Based NAS)
Técnica NAS que relaxa o problema de seleção discreta da arquitetura para um problema contínuo, permitindo o uso da descida de gradiente para otimizar os pesos da arquitetura.
Hiper-rede (Hypernetwork)
Rede neural cujos pesos são gerados por outra rede (a hiper-rede), permitindo parametrizar e otimizar uma família de arquiteturas.
Célula de Arquitetura (Architecture Cell)
Bloco de construção repetível em uma arquitetura de rede neural, cuja estrutura interna é otimizada por NAS e subsequentemente empilhada para formar o modelo final.
Otimização Multi-Objetivo (Multi-Objective NAS)
Variante de NAS que visa otimizar simultaneamente várias métricas, como precisão, latência ou consumo de energia, para encontrar compromissos ótimos.
Método da Árvore de Parzen Estruturada (TPE)
Algoritmo de otimização bayesiana que modela a distribuição de configurações boas e ruins usando modelos de árvores de Parzen para guiar a busca.
Aprendizagem por Bandido (Bandit-Based NAS)
Abordagem NAS que trata a seleção de componentes de arquitetura como um problema de bandidos multi-armados, equilibrando exploração e explotação para construir o modelo.
Proxy de Desempenho (Performance Proxy)
Métrica ou modelo de baixo custo usado para estimar o desempenho final de uma arquitetura, evitando um treinamento completo e demorado durante a fase de pesquisa.
Espaço de Busca Reduzido (Reduced Search Space)
Estratégia que consiste em limitar o espaço de busca de arquiteturas a blocos ou padrões predefinidos para acelerar a convergência do algoritmo NAS.
Compartilhamento de Pesos entre Arquiteturas (Weight Sharing)
Técnica onde os pesos de uma rede neural são compartilhados entre várias arquiteturas candidatas avaliadas, reduzindo drasticamente o custo computacional da pesquisa NAS.