BERTアーキテクチャ

Transformerエンコーダーブロック

BERTの基本的な計算ユニットで、複数のヘッド注意が続き、残差接続と正規化を伴うフィードフォワードネットワークがあります。各ブロックはシーケンス全体を同時に処理し、グローバルな関係を保持します。

← 戻る