AI用語集
人工知能の完全辞典
平均場変分法
変分推論における簡略化された因数分解の仮定。事後分布が、最適化を容易にするために、各パラメータグループの独立した分布の積によって近似される。
座標ごとの更新 (CCVI)
変分推論のための反復最適化アルゴリズム。収束するまで、他の因子を固定したまま、近似分布の各因子を順次更新する。
確率的変分推論 (SVI)
大規模なデータセットに対応するために、ミニバッチデータと確率的勾配推定を使用する変分推論の拡張版。ELBOの最適化をより効率的にする。
振替推論 (Amortized VI)
変分分布のパラメータが、観測データからニューラルネットワーク（「エンコーダ」）によって予測されるアプローチ。新しい観測ごとの最適化を回避する。
変分事後分布
変分推論の枠組みにおいて、真の事後分布を近似するためにパラメータ化された族から選ばれる確率分布。KLダイバージェンスを最小化するように最適化される。
変分因数分解
計算と最適化を扱いやすくするために、変分分布に簡略化された依存構造（多くの場合、独立性）を課す原理。
ELBOの最適化
勾配降下法を通じて証拠下限（ELBO）を最大化する変分推論の中核プロセス。これにより、変分分布が事後分布に近づく。
モンテカルロ変分法
近似分布に形状の制約を課さず、モンテカルロサンプルを使用してELBOを推定・最適化する変分推論の手法。より高い柔軟性を提供する。
逆KLダイバージェンス
KLダイバージェンスの変種で、分布の順序が入れ替わったもの（KL(q||p) vs KL(p||q)）。変分推論において、異なる事後分布の近似をもたらし、しばしばより「包括的」（zero-forcing）な近似となる。
構造化変分推論
平均場近似の一般化であり、変分分布が完全な独立性よりも複雑なグラフ構造によって制約され、より良い近似のために一部の依存関係を捉える手法。
ブラックボックス変分推論
モデルからのサンプリングと対数尤度の計算能力のみを必要とする変分推論のアプローチ。解析的な導出を行わずに、モンテカルロ勾配を用いてELBOを最適化する。