AI用語集

📖

用語

エンコーダ-デコーダ

エンコーダが入力シーケンスを処理し、デコーダが出力シーケンスを生成する双方向アーキテクチャ。この構造により、機械翻訳やテキスト要約などの変換タスクが可能になる。

📖

用語

マスクドアテンション

特定の位置をマスキングしてモデルが将来の情報にアクセスするのを防ぐ注意メカニズム。推論中の自己回帰的生成を保証するためにデコーダで不可欠。

📖

用語

位置ごとのフィードフォワード

シーケンスの各位置に同一かつ独立に適用されるニューラルネットワーク。注意メカニズム後の表現を非線形性を導入して変換する。

📖

用語

アテンション重み

注意計算時に各要素の相対的重要度を決定するソフトマックス正規化スコア。これらの重みは値の線形結合を重み付けするために使用される。

📖

用語

ドロップアウトレイヤー

過学習を防ぐためにトレーニング中にランダムにニューロンを無効化する正則化技術。Transformerの注意層とフィードフォワード層の後に適用される。