BERT Architecture

Transformer Encoder Block

Unité computationnelle fondamentale de BERT composée de multi-head attention suivie d'un réseau feed-forward avec connexions résiduelles et normalisation. Chaque bloc traite la séquence entière simultanément, préservant les relations globales.

← Retour