Глоссарий ИИ
Полный словарь искусственного интеллекта
235
категории
2 988
подкатегории
33 628
термины
термины
ALiBi (внимание с линейными смещениями)
Альтернатива позиционному кодированию, использующая линейные смещения непосредственно в оценках внимания для представления расстояний между токенами.
термины
Разделенное внимание (Disentangled Attention)
Механизм внимания, явно разделяющий вклады содержания и позиции при вычислении оценок внимания.
термины
Многомасштабное позиционное кодирование
Подход, объединяющий несколько масштабов позиционного представления для одновременного захвата локальных и глобальных структур последовательностей.
термины
Позиционный Dropout (Position Dropout)
Техника регуляризации, применяемая специально к позиционным эмбеддингам для предотвращения чрезмерной зависимости модели от позиционной информации.
🔍