人工知能の完全辞典
静的な埋め込みとは異なり、単語が出現する文脈に応じて変化する単語のベクトル表現で、より細かな意味のニュアンスを捉えることができます。
入力トークンにタスクとの関連性に基づいて異なる重みを割り当てる技術で、パディングトークンを処理するためによく使用されます。