AI用語集

📖

用語

マスク付き注意機構

デコーダーで使用される自己注意機構の変種で、各位置が後続の位置に注意を向けるのを防ぎ、自己回帰的な生成と情報漏洩の防止を保証する。

📖

用語

双方向エンコーダー・デコーダー

エンコーダーが入力シーケンスを両方向（左右の文脈）で処理して完全な表現を作成し、デコーダーが自己回帰的に出力を生成するアーキテクチャ。

📖

用語

トークン埋め込み

学習中に学習される各入力トークンの密なベクトル表現で、意味的・構文的な情報を捉え、注意層の出発点として機能する。

📖

用語

コサイン学習率

学習率をコサイン関数に従って減少させ、初期のウォームアップ段階を持つ学習率スケジューリング戦略で、Transformerモデルの収束性能が向上することが示されている。

📖

用語

キー・バリュー・クエリ機構

注意機構の基本的な抽象化で、各トークンが3つのベクトルに投影される：クエリ（何を探しているか）、キー（何を持っているか）、バリュー（何を返すか）。これらを用いて注意の重みを計算する。