Reddit热议!KV缓存优化让Qwen 27B速度翻倍显存骤降,但网友质疑“脑损伤”?
2026-06-16 18:24:12
56次阅读
2个评论
Reddit网友热议Luce的KV缓存优化技术,声称在RTX 3090上实现Qwen 27B模型速度翻倍、显存从21GB降至17.5GB,且256K上下文准确率不变。但大量评论质疑其实际效果,认为缺乏长上下文关键基准测试,并讽刺此类优化常导致模型“变笨”,等待主流工具llama.cpp集成验证。
0
0
2026-06-16 18:24:44

回复 |
引用
2026-06-16 18:25:13

回复 |
引用
共2条
1