Glossário IA
O dicionário completo da Inteligência Artificial
Otimização Convexa em Fluxo (Streaming Convex Optimization)
Paradigma de otimização onde os dados chegam como um fluxo contínuo e as decisões devem ser tomadas em tempo real sem armazenar todas as observações.
Algoritmo de Descida por Espelhamento (Mirror Descent Algorithm)
Generalização da descida de gradiente que utiliza uma função de divergência de Bregman para realizar as atualizações no espaço dual.
Operador de Projeção (Projection Operator)
Operação matemática que projeta um ponto sobre um conjunto convexo, essencial para manter as restrições na otimização online.
Siga o Líder Regularizado (Follow-the-Regularized-Leader)
Algoritmo online que resolve a cada rodada um problema de otimização regularizado sobre as perdas acumuladas até o momento.
Algoritmo Adagrad (Adagrad Algorithm)
Otimizador adaptativo que ajusta a taxa de aprendizado de cada parâmetro com base na soma dos quadrados dos gradientes históricos.
Otimização RMSprop (RMSprop Optimization)
Algoritmo que mantém uma média móvel exponencial dos quadrados dos gradientes para normalizar as atualizações de parâmetros.
Função de Perda Convexa (Convex Loss Function)
Função de perda convexa que garante a existência de um ótimo global único e a convergência dos algoritmos de otimização.
Método do Subgradiente (Subgradient Method)
Extensão da descida de gradiente para funções não diferenciáveis, utilizando subgradientes para guiar a otimização.
Média Dupla
Técnica de otimização online que mantém uma média dos gradientes no espaço dual antes de projetar no espaço primal.
Método do Gradiente Proximal
Algoritmo que combina descida de gradiente e operador proximal para gerenciar termos de regularização não-diferenciáveis.
Otimização por Mini-lotes
Abordagem intermediária entre SGD e processamento em lote completo, utilizando pequenos grupos de observações para estimar os gradientes.
Análise da Taxa de Convergência
Estudo teórico da velocidade com que os algoritmos de otimização online convergem para sua solução ótima.