Glossário IA
O dicionário completo da Inteligência Artificial
Operador Proximal
Operador matemático que generaliza a projeção em um conjunto convexo, definido como argmin_y{f(y) + (1/2λ)||y-x||²}. Permite tratar eficientemente problemas de otimização com regularizadores não-diferenciáveis como a norma L1.
Função Proximal
Função convexa semi-contínua inferiormente para a qual o operador proximal é bem definido. Inclui funções convexas fechadas como a norma L1, a função indicadora de conjuntos convexos e as penalidades de grupo.
Algoritmo ISTA
Iterative Soft-Thresholding Algorithm (Algoritmo Iterativo de Limiarização Suave), método proximal específico para a regularização L1. Realiza uma etapa de gradiente seguida de uma limiarização suave para impor a parcimônia nas soluções.
Algoritmo FISTA
Fast Iterative Soft-Thresholding Algorithm (Algoritmo Iterativo Rápido de Limiarização Suave), versão acelerada do ISTA utilizando as técnicas de aceleração de Nesterov. Atinge uma taxa de convergência ótima O(1/k²) para problemas convexos com regularização L1.
Aceleração de Nesterov
Técnica de aceleração para métodos de gradiente de primeira ordem que utilizam termos de inércia de memória. Melhora significativamente a convergência de O(1/k) para O(1/k²) para problemas convexos.
Condição de Lipschitz
Hipótese de que o gradiente da função objetivo é L-Lipschitz contínuo, garantindo uma convergência estável. Determina o tamanho máximo do passo permitido em métodos proximais.
Regularização de Moreau-Yosida
Técnica de suavização de funções convexas não-diferenciáveis por convolução quadrática. Cria funções C1 enquanto preserva os mínimos originais através da envoltória de Moreau.
Problemas Estruturados
Problemas de otimização com estrutura específica explorada pelos métodos proximais. Inclui regularizadores agrupados, normas mistas e restrições estruturais complexas.
ADMM Proximal
Método das Direções Alternadas dos Multiplicadores com operador proximal, adaptado para restrições complexas. Decompõe o problema em subproblemas mais simples resolvidos alternadamente com atualização do multiplicador.
Convergência Linear
Taxa de convergência geométrica onde o erro diminui exponencialmente com o número de iterações. Atingida por métodos proximais sob condições de forte convexidade ou erro quadrático médio limitado.
Passo de Tamanho Variável
Estratégia adaptativa para a seleção do tamanho do passo de aprendizagem em métodos proximais. Técnicas como a busca em linha de retrocesso (backtracking line search) otimizam a convergência ajustando dinamicamente λ de acordo com a curvatura local.
Gradiente Proximal Estocástico
Versão estocástica do gradiente proximal utilizando mini-batches para problemas em larga escala. Combina a eficiência computacional do SGD com o tratamento de regularizadores não-diferenciáveis.
Ponto Fixo Proximal
Formulação de métodos proximais como iterações de ponto fixo em um operador contrativo. Garante convergência única sob condições de Lipschitz e convexidade apropriada.
Otimização Composta
Otimização de funções objetivo compostas que combinam termos suaves e não-suaves. Principal campo de aplicação dos métodos de gradiente proximal em aprendizado estatístico e processamento de sinal.