AI用語集

📖

用語

エンコーダスタック

入力シーケンスを豊かで文脈的な表現に変換する同一層の積み重ね。各層にはアテンションとフィードフォワードが含まれる。

📖

用語

デコーダスタック

出力シーケンスを生成する層で構成されるアーキテクチャ。将来の情報の漏洩を防ぐためにマスク付きアテンションを使用し、エンコーダとのクロスアテンションを行う。

📖

用語

エンコーダ・デコーダアテンション

デコーダがエンコーダの表現にアクセスし、それに集中して、各出力トークンを情報に基づいて生成できるようにするメカニズム。

📖

用語

レイヤ正規化

各位置の活性化を正規化することで学習を安定化させる手法。Transformerアーキテクチャにおいて、サブレイヤーの前または後に適用される。

📖

用語

マスク付き自己アテンション

デコーダで使用される自己アテンションの変種。生成時に利用できない情報の使用を防ぐために、未来の位置がマスクされる。

📖

用語

スケール付き内積アテンション

学習中に勾配を安定させるために、キーの次元の平方根で内積を正規化するアテンションの計算。

📖

用語

アテンションヘッド

マルチヘッドアテンション内の独立した部分空間。それぞれがデータ内の異なる種類の関係やパターンに集中することを学習する。

📖

用語

トークン埋め込み

各入力トークンの稠密で連続的なベクトル表現。位置情報の追加前の、Transformerアーキテクチャの開始点。