Reddit热帖!老外从零训练量化LLM,60MB部署惊艳全场
2026-08-25 02:18:42
18次阅读
2个评论
开发者从零训练250M参数模型,量化至2比特以下,仅60MB部署、80MB内存即可在CPU上以400 tok/s运行。其创新在于固定512位词元编码和磁盘归档检索机制,支持超长历史查询。网友盛赞其效率与创意,但也质疑其“1亿上下文”表述,认为实为2K上下文加磁盘搜索管道。
收藏 0 0
    小陈 manage advert
    2026-08-25 02:19:15
    回复 |  引用
    小陈 manage advert
    2026-08-25 02:19:44
    回复 |  引用
共2条 1

登录 后评论。没有帐号? 注册 一个。

小陈

manage advert
  • 0 回答
  • 0 粉丝
  • 0 关注