Glosario IA
El diccionario completo de la Inteligencia Artificial
Descenso de Gradiente
Algoritmo de optimización iterativo que sigue la dirección opuesta del gradiente para minimizar una función.
Descenso de Gradiente Estocástico
Variante del descenso de gradiente que utiliza una única muestra aleatoria en cada iteración.
Descenso de Gradiente Mini-batch
Compromiso entre GD y SGD utilizando pequeños lotes de ejemplos para actualizar los parámetros.
Momento
Técnica que acelera la convergencia añadiendo un componente de inercia a las actualizaciones de gradiente.
Gradiente Acelerado de Nesterov
Variante del momentum que anticipa la posición futura para actualizaciones más precisas.
Adagrad
Adaptativo de la tasa de aprendizaje basado en la suma histórica de los cuadrados de los gradientes.
RMSprop
Método adaptativo que utiliza una media móvil de los cuadrados de los gradientes para normalizar las actualizaciones.
Optimizador Adam
Combinación de momentum y RMSprop con estimaciones adaptativas de los momentos de primer y segundo orden.
AdamW
Variante de Adam con regularización L2 desacoplada para un mejor rendimiento.
AdaDelta
Extensión de Adagrad que limita la acumulación histórica para una tasa de aprendizaje estable.
Métodos de Newton
Algoritmos que utilizan la matriz Hessiana para una convergencia cuadrática local.
BFGS y L-BFGS
Métodos cuasi-Newton que aproximan la Hessiana con memoria limitada (L-BFGS).
Gradiente Conjugado
Método iterativo eficiente para grandes sistemas lineales y optimización no lineal.
Descenso de Gradiente Proyectado
Técnica para la optimización bajo restricciones proyectando sobre el conjunto admisible.
Métodos de Gradiente Proximal
Algoritmos que combinan descenso de gradiente y operador proximal para funciones no suaves.