Reddit热议!Gemma 4 QAT模型KV缓存量化表现意外提升
2026-06-22 06:14:12
37次阅读
2个评论
Reddit用户发现,Gemma 4的QAT版本对KV缓存量化响应显著更好,Q8_0量化可能重回可用范围。但网友指出KLD指标存在缺陷,实际使用中Q4_K_XL与Q8_0差异巨大,且量化效果受任务类型影响,长上下文检索和视觉任务中表现不佳。
0
0
2026-06-22 06:14:45

回复 |
引用
2026-06-22 06:15:14

回复 |
引用
共2条
1
相关帖子
- Reddit热帖:Gemma 4 QAT 31B在KV缓存量化上表现更佳
- Gemma4与Qwen3.6 KV缓存量化KL散度测试及相关讨论
- 调整Gemma 4视觉令牌参数可大幅提升其视觉识别能力
- gemma-4-31B-it-DFlash模型已正式发布
- 本地跑Qwen3.6/Gemma4体验佳?网友实测各模型优劣引热议
- Reddit热议!DeepSeek V4 Flash本地运行表现惊艳
- Reddit热议!老外实测GLM 5.2低量化模型,鹈鹕SVG惊艳全场
- Reddit热议!Gemma 4 12B编程翻车?一个模板就能救
- Reddit网友热议AI模型过时论及Qwen、Gemma优劣势
- Reddit热议!Gemma 4 26b成语言学习神器,编程却输Qwen?