Glossário IA
O dicionário completo da Inteligência Artificial
Descida de Gradiente Estocástica (SGD)
Algoritmo de otimização básico que atualiza os parâmetros usando uma amostra aleatória a cada iteração.
Mini-batch Gradient Descent
Variante do SGD que utiliza pequenos lotes de amostras para equilibrar variância e eficiência computacional.
Otimização baseada em Momentum
Técnicas que incorporam inércia para acelerar a convergência e reduzir as oscilações em vales estreitos.
Métodos de Taxa de Aprendizagem Adaptativa
Algoritmos como Adam e RMSprop que ajustam dinamicamente a taxa de aprendizagem para cada parâmetro.
Técnicas de Redução de Variância
Métodos como SVRG e SAGA que reduzem a variância das estimativas de gradiente para melhorar a convergência.
SGD Distribuído
Abordagens que paralelizam o SGD em várias máquinas para acelerar o treinamento de modelos em larga escala.
Otimização Não Convexa
Técnicas especializadas para a otimização de funções não convexas típicas em redes neurais profundas.
Agendamento da Taxa de Aprendizagem
Estratégias de ajuste da taxa de aprendizagem durante o treinamento para otimizar a convergência.
Métodos Estocásticos de Segunda Ordem
Algoritmos que utilizam informações aproximadas de segunda ordem para acelerar a convergência.
Otimização de Aprendizado Federado
Métodos SGD adaptados para treinamento distribuído que preserva a privacidade em dados descentralizados.
Otimização Estocástica Robusta
Técnicas que tornam a otimização resiliente a dados ruidosos e ataques adversariais.
Otimização de Aprendizagem Online
Variantes SGD adaptadas a cenários onde os dados chegam sequencialmente e requerem atualizações contínuas.