Glossário IA
O dicionário completo da Inteligência Artificial
Ruído de Gradiente
Variabilidade inerente das estimativas de gradiente devido à amostragem estocástica de mini-batches, podendo ajudar a escapar de mínimos locais. Este ruído é caracterizado por uma variância inversamente proporcional ao tamanho do batch e diminui com a convergência.
SGD Padrão
Versão básica do gradiente descendente estocástico sem mecanismos de aceleração como o momentum ou a adaptação da taxa de aprendizado. O SGD Padrão atualiza os pesos seguindo a direção negativa do gradiente com uma taxa de aprendizado constante.
Gradiente Descendente em Lote Completo
Variante do gradiente descendente utilizando a totalidade do conjunto de dados para calcular uma estimativa exata do gradiente a cada iteração. Esta abordagem oferece uma convergência estável, mas com um custo computacional proibitivo para grandes conjuntos de dados.