線形で効率的な注意機構

フラッシュアテンション

正確だが、メモリと時間の点でより高速な注意アルゴリズムで、タイリングと再計算を使用して、GPUメモリ内の中間的な大きな注意行列の作成を回避する。

← 戻る