Glossário IA
O dicionário completo da Inteligência Artificial
Descida de Gradiente Mini-Batch
Variante do SGD que utiliza um pequeno subconjunto de dados (batch) para calcular o gradiente em cada iteração, oferecendo um compromisso entre o SGD puro e a descida de gradiente batch.
Momentum
Técnica de aceleração do SGD que adiciona uma fração do vetor de atualização anterior ao vetor atual para superar oscilações e acelerar a convergência em direções relevantes.
Learning Rate Schedule
Estratégia que ajusta dinamicamente a taxa de aprendizado (learning rate) durante o treinamento para melhorar a convergência, incluindo abordagens como step decay, exponential decay e cosine annealing.
Problema do Gradiente Explosivo
Problema onde os gradientes se tornam excessivamente grandes durante o treinamento, causando atualizações de parâmetros instáveis e a divergência do algoritmo de aprendizado.
Mínimos Locais
Ponto no espaço de parâmetros onde a função de perda atinge um valor mínimo em uma vizinhança local, mas não necessariamente o mínimo global.
Ótimos Globais
Ponto no espaço de parâmetros onde a função de perda atinge seu valor mais baixo em todo o domínio, representando a solução ótima para o problema de otimização.
Gradiente Acelerado de Nesterov
Variante aprimorada do momentum que calcula o gradiente em uma posição antecipada em vez da posição atual, oferecendo uma convergência teoricamente mais rápida.