AI用語集
人工知能の完全辞典
エンティティ埋め込み
カテゴリ変数を低次元の密なベクトルに変換する表現手法で、連続空間内でそれらの意味的関係と類似性を捉えます。
カテゴリ特徴量エンコーディング
one-hot、label encoding、entity embeddingsなどの方法を含む、機械学習モデルに適した数値形式へのカテゴリ変数の変換プロセス。
埋め込み次元
各カテゴリエンティティを表すベクトルのサイズで、モデルの表現能力と過学習のリスクを均衡させる重要なハイパーパラメータ。
学習された表現
手動の特徴量エンジニアリングなしで、特定のタスクのために最適化されたトレーニング中にモデルによって自動的に取得されるデータのベクトル表現。
埋め込み行列
与えられたカテゴリ変数のすべての埋め込みベクトルを含む重み行列で、各行がカテゴリのベクトル表現に対応します。
高基数特徴量
多くの一意の値を持つカテゴリ変数で、エンティティ埋め込みはone-hotなどの従来のエンコーディング方法を大幅に上回ります。
埋め込み初期化
埋め込み層の重みを初期化する戦略で、モデルの収束速度と学習された表現の最終的な品質に影響を与えます。
埋め込み正則化
過学習を防ぎ、ベクトル表現の一般化を改善するために、埋め込み層に特化して適用されるL2やドロップアウトなどの手法。
埋め込みの可視化
t-SNEやUMAPのような技術で、高次元の埋め込み空間を2D/3Dに投影し、カテゴリ間の関係やクラスタの視覚的分析を可能にします。
クロスエンティティ埋め込み
異なるカテゴリ変数のエンティティが共通の埋め込み空間を共有する高度なアプローチで、複雑なカテゴリ間の関係を捉えます。
埋め込み転移学習
ソースタスクで事前学習されたエンティティ埋め込みを再利用し、より少ない訓練データで類似のターゲットタスクのパフォーマンスを向上させます。
埋め込み空間トポロジー
埋め込み空間内の幾何学的構造と近傍関係を反映し、元のカテゴリ間の階層と暗黙の類似性を示します。
埋め込み収束
訓練中の埋め込みベクトルの安定化を示し、モデルがカテゴリエンティティに対して一貫性のある最適な表現を学習したことを示します。
埋め込み勾配フロー
逆伝播中に埋め込み層を通じて勾配が伝播し、ベクトル表現が損失を最小化するために最適化されるメカニズムです。
埋め込みスパーシティ
一部のベクトルに多くのゼロが含まれる可能性がある埋め込み空間の特性で、計算効率を向上させるために意図的に導入されることがあります。
埋め込み補間
既存のベクトルの線形結合によって中間概念を表現する埋め込み空間の能力で、表現の意味的連続性を示します。