Глоссарий ИИ
Полный словарь искусственного интеллекта
235
категории
2 988
подкатегории
33 628
термины
термины
Нормализация слоя внимания
Нормализация, применяемая до или после механизма внимания для стабилизации обучения, обычно реализуемая как pre-norm в современных архитектурах.
термины
ALiBi позиционное кодирование
Метод позиционного кодирования, который применяет линейные смещения, уменьшающиеся в зависимости от расстояния, обеспечивая лучшую экстраполяцию на более длинные последовательности.
🔍