Reddit热帖!老外分享本地大模型优化完整指南
2026-06-22 18:23:56
39次阅读
3个评论
Reddit用户carteakey发布了一年的本地LLM优化实验成果,涵盖VRAM适配、KV缓存、MoE放置等实用技巧。网友积极反馈,指出mmproj分配bug已修复、建议补充ROCm后端和ngram推测解码,并提醒OOM陷阱与上下文长度相关。
收藏 0 0
    小陈 manage advert
    2026-06-22 18:24:29
    回复 |  引用
    小陈 manage advert
    2026-06-22 18:24:58
    回复 |  引用
    小陈 manage advert
    2026-06-22 18:25:27
    回复 |  引用
共3条 1

登录 后评论。没有帐号? 注册 一个。

小陈

manage advert
  • 0 回答
  • 0 粉丝
  • 0 关注