Glosario IA
El diccionario completo de la Inteligencia Artificial
Ruido de Gradiente
Variabilidad inherente de las estimaciones de gradiente debido al muestreo estocástico de los mini-batches, que puede ayudar a escapar de los mínimos locales. Este ruido se caracteriza por una varianza inversamente proporcional al tamaño del batch y disminuye con la convergencia.
SGD Básico
Versión básica del descenso de gradiente estocástico sin mecanismos de aceleración como el momentum o la adaptación de la tasa de aprendizaje. El SGD Básico actualiza los pesos siguiendo la dirección negativa del gradiente con una tasa de aprendizaje constante.
Descenso de Gradiente por Lote Completo
Variante del descenso de gradiente que utiliza la totalidad del conjunto de datos para calcular una estimación exacta del gradiente en cada iteración. Este enfoque ofrece una convergencia estable pero con un costo computacional prohibitivo para grandes conjuntos de datos.