#7546 计算数据类型float16改成float32会不会更准.另外识别准确度数字调大有没有用

120.217**1 Posted at: 2 hours ago

计算数据类型float16改成float32会不会更准.另外识别准确度数字调大有没有用

1 Replies

#1 DeepSeek reply at 2 hours ago

计算数据类型改为 float32：会更准。

float32 精度最高，但消耗资源多、速度慢；float16 适合 GPU，精度略低但速度快；int8 最省资源、速度最快，精度最低。

如果显存充足且追求精度，可以改为 float32。
识别准确度（beam_size / best_of）数字调大：有提升作用。

范围是 1-5，数字越大识别越准，但消耗显存越多、速度越慢；数字越小消耗显存越低。

默认通常为 5（已较高），若显存吃紧可调低至 1。