Glosario IA
El diccionario completo de la Inteligencia Artificial
Búsqueda en cuadrícula
Método de optimización exhaustiva que evalúa sistemáticamente todas las combinaciones posibles de hiperparámetros en una cuadrícula predefinida. Este enfoque garantiza el descubrimiento de la configuración óptima pero suele ser ineficiente para espacios de alta dimensión.
Búsqueda aleatoria
Técnica de optimización que muestrea aleatoriamente combinaciones de hiperparámetros según distribuciones especificadas. Resulta más eficiente que la búsqueda en cuadrícula para espacios de alta dimensión al concentrar la exploración en las zonas pertinentes.
BOHB
Combinación híbrida de Optimización Bayesiana e Hyperband que integra un modelo TPE para guiar la selección de configuraciones en el marco de una asignación de recursos adaptativa. Este método sinérgico combina la eficiencia de búsqueda bayesiana con la eliminación rápida de Hyperband.
Búsqueda por Árbol de Parzen
Variante de optimización bayesiana que modela por separado las distribuciones de hiperparámetros para las configuraciones buenas y malas. El algoritmo muestrea preferentemente en las regiones donde las configuraciones de alto rendimiento son más probables.
Algoritmo genético
Método de optimización inspirado en la evolución natural que hace evolucionar una población de configuraciones a través de selección, cruce y mutación. Es particularmente adecuado para espacios de búsqueda discretos y problemas con múltiples óptimos locales.
Optimización por enjambre de partículas
Técnica metaheurística que simula el comportamiento social de un enjambre para explorar el espacio de búsqueda. Cada partícula ajusta su trayectoria en función de su mejor experiencia personal y la del vecindario más exitoso.
Hiperparámetros condicionales
Hiperparámetros cuya existencia o rango de valores depende de los valores de otros hiperparámetros, creando una estructura de dependencia en el espacio de búsqueda. Su gestión requiere estrategias de optimización adaptadas a espacios jerárquicos.
Optimización multiobjetivo
Extensión de la optimización de hiperparámetros que gestiona simultáneamente múltiples objetivos a menudo contradictorios como la precisión y la latencia. Produce un frente de Pareto de soluciones óptimas que representan diferentes compromisos posibles.
Transferencia de Aprendizaje para Hiperparámetros
Técnica que reutiliza el conocimiento sobre el rendimiento de los hiperparámetros adquirido en tareas o conjuntos de datos anteriores. Este enfoque acelera significativamente la optimización en nuevas tareas similares.
Neuroevolución
Aplicación de algoritmos evolutivos a la optimización de las arquitecturas y los pesos de las redes neuronales. Combina la flexibilidad de la evolución con el poder de las redes profundas para descubrir soluciones no convencionales.
Optimización Basada en Gradientes
Enfoque que trata los hiperparámetros como parámetros optimizables y calcula su gradiente con respecto a la pérdida del modelo. Permite actualizaciones direccionales eficientes pero requiere funciones objetivo diferenciables.
Espacio de Búsqueda Jerárquico
Estructura del espacio de búsqueda donde los hiperparámetros se organizan en niveles de dependencia, reflejando las relaciones condicionales entre parámetros. La optimización debe respetar estas restricciones estructurales para generar configuraciones válidas.
Optimización Robusta
Paradigma que busca hiperparámetros que ofrezcan buen rendimiento no solo en el conjunto de datos de entrenamiento sino también frente a variaciones y ruido futuros. Prioriza la estabilidad y la generalización sobre la optimización agresiva.