AI用語集

📖

用語

ソフトマックス温度

モデルの不確実性レベルを調整することで、ソフトマックス確率分布の形状を制御するパラメータ。高温ではより一様な分布を生成し、低温ではより信頼性が高く集中した予測を生成します。

📖

用語

類似度分布

アンカーポイントと正例・負例サンプル間の相対的な類似度を表現する確率分布。温度を調整することでこの分布の集中度を最適化し、学習を改善します。

📖

用語

信頼度較正

予測確率を実際の正解確率を忠実に反映させるように調整するプロセス。Temperature scalingはディープラーニングモデルを較正する効果的な学習後手法です。

📖

用語

ロジットスケーリング

ソフトマックス関数の適用前にロジットを正規化し、最終的な活性化のスケールを制御します。この技術は学習の安定化と学習された表現の品質向上に不可欠です。

📖

用語

温度アニーリング

学習中に温度を段階的に調整する戦略で、多くの場合高い値から始めて徐々に減少させます。このアプローチは初期の探索を容易にし、より識別的な表現への収束を促進します。

📖

用語

温度チューニング

パフォーマンスと較正の最適なバランスを見つけるための温度パラメータの最適化プロセス。この重要なステップは、学習された表現の品質とモデルの堅牢性に直接影響します。

📖

用語

確率シャープニング

1未満の温度によるTemperature scalingの効果で、確率分布を最も確率の高いクラスに集中させます。この技術は識別能力を向上させますが、制御が不適切な場合は較正を低下させる可能性があります。

📖

用語

温度スケジューリング

学習のダイナミクスを最適化するため、学習中に温度パラメータを時間的に変化させる戦略。多くの場合、指数的または線形的な減衰を組み合わせて収束を安定化させます。