Reddit热帖!老外从零训练量化LLM,60MB部署惊艳全场
2026-08-25 02:18:42
18次阅读
2个评论
开发者从零训练250M参数模型,量化至2比特以下,仅60MB部署、80MB内存即可在CPU上以400 tok/s运行。其创新在于固定512位词元编码和磁盘归档检索机制,支持超长历史查询。网友盛赞其效率与创意,但也质疑其“1亿上下文”表述,认为实为2K上下文加磁盘搜索管道。
0
0
2026-08-25 02:19:15

回复 |
引用
2026-08-25 02:19:44

回复 |
引用
共2条
1