Glosario IA

📖

términos

Variational Dropout

Técnica de regularización donde la máscara de dropout permanece constante a través de los pasos temporales, aplicando el mismo patrón de unidades desactivadas para todas las secuencias temporales de una RNN.

📖

términos

Zoneout

Método de regularización alternativo al dropout que estocásticamente hace circular las activaciones anteriores en lugar de ponerlas a cero, preservando así la información temporal.

📖

términos

Recurrent Dropout

Aplicación de dropout específicamente sobre las conexiones recurrentes de una RNN, dejando las conexiones de entrada-salida intactas para gestionar mejor las dependencias temporales.

📖

términos

Weight Dropout

Técnica que aplica el dropout directamente sobre los pesos de las conexiones recurrentes en lugar de sobre las activaciones, reduciendo eficazmente la co-adaptación de los pesos en el tiempo.

📖

términos

Connection Dropout

Variante de dropout que desactiva aleatoriamente conexiones enteras entre capas en lugar de unidades individuales, creando una regularización más estructurada.

📖

términos

Temporal Dropout

Estrategia de dropout aplicada sobre la dimensión temporal, desactivando aleatoriamente pasos temporales completos para mejorar la robustez frente a secuencias ruidosas.

📖

términos

Adaptive Dropout

Método donde la tasa de dropout se adapta dinámicamente durante el entrenamiento basándose en métricas de rendimiento o la complejidad local del modelo.

📖

términos

DropConnect

Extensión del dropout que pone a cero aleatoriamente pesos individuales en la matriz de pesos en lugar de activaciones completas.

📖

términos

Gaussian Dropout

Variante multiplicativa donde el ruido de dropout sigue una distribución gaussiana en lugar de una distribución de Bernoulli, ofreciendo una regularización más suave.

📖

términos

Alpha Dropout

Tipo de dropout que preserva la media y la varianza de las activaciones auto-normalizadas, particularmente adaptado a arquitecturas SELU.

📖

términos

Standout

Técnica de dropout adaptativo donde las probabilidades de dropout son determinadas por una red aprendida, permitiendo una regularización dependiente de los datos.

📖

términos

Concrete Dropout

Enfoque bayesiano que utiliza la distribución Concrete para modelar el dropout como una variable continua, permitiendo una optimización por gradiente directo.

📖

términos

Bayesian Dropout

Interpretación del dropout como una aproximación de la inferencia bayesiana en redes profundas, proporcionando una medida de incertidumbre.

📖

términos

Variational Inference Dropout

Formalización del dropout como un método de inferencia variacional, optimizando directamente el límite inferior de la verosimilitud.

📖

términos

RNN Dropout Masking

Estrategia de compartición de máscaras de dropout entre los pasos temporales para mantener la coherencia temporal mientras se aplica la regularización.

📖

términos

Layer-wise Dropout

Aplicación de tasas de dropout diferentes para cada capa del RNN, adaptando la regularización según la profundidad y la función de cada capa.

📖

términos

Dropout Scheduling

Estrategia de ajuste progresivo de la tasa de dropout durante el entrenamiento, comenzando con una regularización fuerte y reduciéndola progresivamente.