Reddit热议!Top-N-Sigma采样器优化,性能飙升50%
2026-06-24 02:58:54
43次阅读
1个评论
该PR优化了llama.cpp中的Top-N-Sigma采样器,移除了末尾不必要的softmax+排序操作,在配合Dist采样器时可避免重复计算。作者在M3 Max上测试Gemma模型,速度从30t/s提升至45t/s。网友称赞这是难得的低垂果实优化,但也指出该采样器默认未启用,使用率不高。
收藏 0 0
    小陈 manage advert
    2026-06-24 02:59:27
    回复 |  引用
共1条 1

登录 后评论。没有帐号? 注册 一个。

小陈

manage advert
  • 0 回答
  • 0 粉丝
  • 0 关注