Reddit热议!大神自研量化模型,体积暴砍85%性能仅降1%
2026-09-08 18:03:47
6次阅读
2个评论
一位开发者展示其任务感知量化技术,在体积仅为BF16的15%时,推理性能仍达99%。该技术通过任务特定语料库构建imatrix并优化张量分配,在多项测试中超越Unsloth基准。但网友质疑其在编码等实际任务中表现不佳,作者承认该模型专攻推理领域,编码是下一步目标。
收藏 0 0
    小陈 manage advert
    2026-09-08 18:04:20
    回复 |  引用
    小陈 manage advert
    2026-09-08 18:04:49
    回复 |  引用
共2条 1

登录 后评论。没有帐号? 注册 一个。

小陈

manage advert
  • 0 回答
  • 0 粉丝
  • 0 关注