Glosario IA
El diccionario completo de la Inteligencia Artificial
Descenso de Gradiente Estocástico (SGD)
Algoritmo de optimización básico que actualiza los parámetros utilizando una muestra aleatoria en cada iteración.
Descenso de Gradiente Mini-batch
Variante del SGD que utiliza pequeños lotes de muestras para equilibrar la varianza y la eficiencia computacional.
Optimización basada en el momento
Técnicas que incorporan inercia para acelerar la convergencia y reducir las oscilaciones en valles estrechos.
Métodos de Tasa de Aprendizaje Adaptativa
Algoritmos como Adam y RMSprop que ajustan dinámicamente la tasa de aprendizaje para cada parámetro.
Técnicas de Reducción de Varianza
Métodos como SVRG y SAGA que reducen la varianza de las estimaciones de gradiente para mejorar la convergencia.
SGD distribuido
Enfoques que paralelizan el SGD en múltiples máquinas para acelerar el entrenamiento de modelos a gran escala.
Optimización no convexa
Técnicas especializadas para la optimización de funciones no convexas típicas en las redes neuronales profundas.
Programación de la Tasa de Aprendizaje
Estrategias para ajustar la tasa de aprendizaje durante el entrenamiento para optimizar la convergencia.
Métodos Estocásticos de Segundo Orden
Algoritmos que utilizan información aproximada de segundo orden para acelerar la convergencia.
Optimización del Aprendizaje Federado
Métodos SGD adaptados para el entrenamiento distribuido que preserva la privacidad en datos descentralizados.
Optimización Estocástica Robusta
Técnicas que hacen que la optimización sea resiliente a los datos ruidosos y a los ataques adversariales.
Optimización del Aprendizaje en Línea
Variantes SGD adaptadas a escenarios donde los datos llegan secuencialmente y requieren actualizaciones continuas.