Thuật ngữ AI
Từ điển đầy đủ về Trí tuệ nhân tạo
162
danh mục
2.032
danh mục con
23.060
thuật ngữ
thuật ngữ
Add & Norm Layer
Residual normalization layer applied after the attention mechanism, combining the attention output with the original input (residual connection) before normalizing the sum.
thuật ngữ
Linear Projection in Attention
Linear transformation (multiplication by a weight matrix) applied to input embeddings to generate Query, Key, and Value vectors, allowing the model to learn attention-specific representation spaces.
🔍