AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
ポジションエンコーディング
入力エンベディングに絶対位置または相対位置の情報を追加し、モデルがシーケンス内のトークンの順序を理解できるようにする技術。
用語
プレーレイヤー正規化
注意とフィードフォワードのサブレイヤーの前に適用されるレイヤー正規化の変種で、ディープトランスフォーマーにおけるトレーニングの安定性を向上させます。
用語
ポストレイヤー正規化
注意とフィードフォワードのサブレイヤーの後に適用される元のレイヤー正規化の設定で、残差接続と組み合わされます。
用語
RMS正規化
活性化の二乗平均平方根のみを使用する効率的なレイヤー正規化の変種で、パフォーマンスを維持しながら計算複雑度を削減します。
用語
エンコーダー-デコーダー構造
入力シーケンスを処理するエンコーダーと出力シーケンスを生成するデコーダーからなる双方向アーキテクチャで、トランスフォーマーモデルの基礎です。
用語
LayerNormイプシロン
レイヤー正規化で追加される数値的安定性のパラメータで、活性化の分散を計算する際のゼロ除算を回避します。
🔍