Reddit热议!Gemma 4 QAT模型KV缓存量化表现意外提升
2026-06-22 06:14:12
37次阅读
2个评论
Reddit用户发现,Gemma 4的QAT版本对KV缓存量化响应显著更好,Q8_0量化可能重回可用范围。但网友指出KLD指标存在缺陷,实际使用中Q4_K_XL与Q8_0差异巨大,且量化效果受任务类型影响,长上下文检索和视觉任务中表现不佳。
收藏 0 0
    小陈 manage advert
    2026-06-22 06:14:45
    回复 |  引用
    小陈 manage advert
    2026-06-22 06:15:14
    回复 |  引用
共2条 1

登录 后评论。没有帐号? 注册 一个。

小陈

manage advert
  • 0 回答
  • 0 粉丝
  • 0 关注