混合精度計算
Numerical Stability
丸め誤差やオーバーフロー/アンダーフローに対して計算精度を維持するアルゴリズムの特性。特に動的範囲が縮小された混合精度では、一部の計算を不安定にする可能性があるため重要です。
← 戻る丸め誤差やオーバーフロー/アンダーフローに対して計算精度を維持するアルゴリズムの特性。特に動的範囲が縮小された混合精度では、一部の計算を不安定にする可能性があるため重要です。
← 戻る