人工知能の完全辞典
各生成ステップで複数のシーケンス仮説を並列に維持するデコーディングアルゴリズム。ビーム探索は複数の可能なパスを探索して、生成全体の品質を向上させます。
Transformerの最初の層で、離散的なトークンを高次元の連続ベクトルに変換します。これらの埋め込みは、密なベクトル空間内で単語間のセマンティクスと関係を捉えます。
損失関数の各パラメータに関する勾配を計算する、ニューラルネットワークの基本的な訓練アルゴリズム。逆伝播により、LLMの数十億のパラメータの反復的な最適化が可能になります。