AI用語集

📖

用語

双方向エンコーダ

入力シーケンス全体を同時に処理し、各トークンが過去と未来の両方の全てのトークンに注目できるようにすることで、完全な文脈理解を可能にするコンポーネント。

📖

用語

自己回帰デコーダ

事前に生成されたトークンとエンコーダの文脈表現のみに基づいて、デコーダが出力シーケンスをトークン単位で生成する生成メカニズム。

📖

用語

クロスアテンション機構

デコーダ内のプロセスで、各入力トークンの重要度を重み付けして現在の出力トークンを生成するために、エンコーダ出力の特定の部分に集中できるようにするもの。

📖

用語

因果マスキング

各位置が未来の位置に注目するのを防ぐためにデコーダに適用される技術で、生成の自己回帰的な性質を保証し、情報の漏洩を防ぐ。

📖

用語

順伝播ニューラルネットワーク

注意機構の後に各位置に独立して適用される全結合ニューラルネットワークで、非線形変換とより高次元の射影を可能にする。

📖

用語

レイヤー正規化

各個別の例に対して特徴を正規化することで活性化を安定化させる正規化技術で、収束を加速させ、モデルの全体的なパフォーマンスを向上させる。

📖

用語

エンコーダーボトルネック

入力シーケンスのすべての情報を凝縮し、生成のためにデコーダに単一のコンテキストとして機能する、固定次元のベクトル表現で、多くの場合エンコーダーの最終出力。

📖

用語

トークン埋め込み

語彙の各離散トークンを連続空間で表現する高次元の密なベクトルで、学習中に取得された意味論的および統語的情報を捕捉する。