エンコーダ・デコーダアーキテクチャ

キー・バリュー・クエリ機構

注意機構の基本的な抽象化で、各トークンが3つのベクトルに投影される：クエリ（何を探しているか）、キー（何を持っているか）、バリュー（何を返すか）。これらを用いて注意の重みを計算する。

← 戻る