Glossário IA
O dicionário completo da Inteligência Artificial
242
categorias
3.306
subcategorias
39.932
termos
termos
Transformers Eficientes
Categoria de arquiteturas de Transformers projetadas para superar a complexidade quadrática da atenção, utilizando técnicas como atenção linear, esparsa ou de baixo rank para processar sequências mais longas.
termos
FlashAttention
Algoritmo de atenção exato, mas mais rápido em memória e tempo, que usa tiling (blocos) e recomputações para evitar a criação da grande matriz de atenção intermediária na memória da GPU.
termos
Nyströmformer
Modelo que utiliza o método de Nyström para aproximar a matriz de atenção completa, amostrando um pequeno número de pontos de referência ('landmarks'), reduzindo a complexidade de O(n²) para O(n*m), onde m << n.
🔍