TurboQuant全面评测:FP8仍是KV缓存量化最优默认方案
2026-05-15 15:11:12
13次阅读
2个评论
一项针对TurboQuant的全面研究发现,FP8量化仍是KV缓存的最佳默认选择,提供2倍容量且精度损失可忽略。TurboQuant的k8v4变体优势有限,4bit-nc在内存受限场景下可行但需权衡性能。网友普遍认可FP8的实用性,同时指出TurboQuant并非无损,且其论文部分结果无法复现,社区对其实际效果存在分歧。
0
0
2026-05-15 15:11:45

回复 |
引用
2026-05-15 15:12:14

回复 |
引用
共2条
1