混合精度計算
FP16 (半精度浮動小数点)
1ビットの符号部、5ビットの指数部、10ビットの仮数部から成る16ビットの数値表現フォーマットで、精度の低下を犠牲にして計算を高速化し、メモリフットプリントを削減するために使用される。
← 戻る1ビットの符号部、5ビットの指数部、10ビットの仮数部から成る16ビットの数値表現フォーマットで、精度の低下を犠牲にして計算を高速化し、メモリフットプリントを削減するために使用される。
← 戻る