Позиционное кодирование
ALiBi (внимание с линейными смещениями)
Альтернатива позиционному кодированию, использующая линейные смещения непосредственно в оценках внимания для представления расстояний между токенами.
← Назад