Позиционное кодирование

ALiBi (внимание с линейными смещениями)

Альтернатива позиционному кодированию, использующая линейные смещения непосредственно в оценках внимания для представления расстояний между токенами.

← Назад