Глоссарий ИИ

📖

термины

Эффективные Трансформеры

Категория архитектур Трансформеров, разработанных для преодоления квадратичной сложности механизма внимания, использующих такие техники как линейное, разреженное или низкоранговое внимание для обработки более длинных последовательностей.

📖

термины

FlashAttention

Алгоритм точного механизма внимания, но более быстрый по памяти и времени, который использует тайлинг и перевычисления для избежания создания большой промежуточной матрицы внимания в памяти GPU.

📖

термины

Nyströmformer

Модель, использующая метод Нюстрема для аппроксимации полной матрицы внимания путем выборки небольшого количества опорных точек ('landmarks'), снижая сложность с O(n²) до O(n*m), где m << n.