Reddit热议!Top-N-Sigma采样器优化,性能飙升50%
2026-06-24 02:58:54
43次阅读
1个评论
该PR优化了llama.cpp中的Top-N-Sigma采样器,移除了末尾不必要的softmax+排序操作,在配合Dist采样器时可避免重复计算。作者在M3 Max上测试Gemma模型,速度从30t/s提升至45t/s。网友称赞这是难得的低垂果实优化,但也指出该采样器默认未启用,使用率不高。
0
0
2026-06-24 02:59:27

回复 |
引用
共1条
1