Reddit热议!大神自研量化模型,体积暴砍85%性能仅降1%
2026-09-08 18:03:47
6次阅读
2个评论
一位开发者展示其任务感知量化技术,在体积仅为BF16的15%时,推理性能仍达99%。该技术通过任务特定语料库构建imatrix并优化张量分配,在多项测试中超越Unsloth基准。但网友质疑其在编码等实际任务中表现不佳,作者承认该模型专攻推理领域,编码是下一步目标。
0
0
2026-09-08 18:04:20

回复 |
引用
2026-09-08 18:04:49

回复 |
引用
共2条
1
相关帖子
- Reddit热帖:大神自研引擎让2.6B模型在手机纯CPU跑出17 tok/s
- 美国988自杀热线降青少死亡率,砍专项引热议
- Reddit热议!匈牙利总理自砍一半薪资,老外怎么看?
- Reddit热议!匈牙利总理自降一半薪资,老外怎么看?
- Reddit热议!Kimi K3模型被压缩至594GB,1-bit量化仍保持78.9%准确率
- Reddit热议!特斯拉太阳能屋顶十年仅装3000套终被砍
- Anthropic调整Claude参数被指降质 本地模型价值引热议
- Reddit热议!老外实测GLM 5.2低量化模型,鹈鹕SVG惊艳全场
- Reddit热议!Gemma 4 QAT模型KV缓存量化表现意外提升
- 实测Qwen3.6-35B MoE:显存有限时更大量化反而性能更好