AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
効率的なトランスフォーマー
二次的な注意の複雑さを克服するために設計されたトランスフォーマーアーキテクチャのカテゴリで、線形注意、スパース注意、低ランク注意などの技術を使用して、より長いシーケンスを処理する。
用語
フラッシュアテンション
正確だが、メモリと時間の点でより高速な注意アルゴリズムで、タイリングと再計算を使用して、GPUメモリ内の中間的な大きな注意行列の作成を回避する。
用語
ニストロムフォーマー
ニストロム法を使用して完全な注意行列を近似するモデルで、少数のランドマークポイントをサンプリングし、複雑さをO(n²)からO(n*m)に削減する（m << n）。
🔍