Reddit热议!6万块二手服务器跑284B大模型,性能竟超预期?
2026-08-05 00:42:45
130次阅读
2个评论
Reddit网友用约6000美元的二手四路至强服务器加两张RTX 3090,成功运行DeepSeek V4-Flash完整版284B MoE模型,解码速度达33-68 tok/s。网友指出冷启动预填充慢是短板,但异步批处理场景性价比极高,引发对混合CPU-GPU推理方案的激烈讨论。
0
0
2026-08-05 00:43:18

回复 |
引用
2026-08-05 00:43:46

回复 |
引用
共2条
1
相关帖子
- Reddit热议!27B本地模型编程性能竟超GPT 5.5?
- Reddit热议!自建LLM服务器成本大揭秘:每年省下近3000美元
- 用户用二手英特尔傲腾持久内存攒机 本地跑万亿参数大模型达4token/秒
- Reddit网友晒4块RTX6000Pro跑大模型,评论区热议
- Reddit热议!老外如何看待V100水冷服务器低价复活?
- Reddit热议!AI生存挑战:给台服务器和公寓,它能活几个月?
- Reddit热议!近万次测试证明二手电动车电池远比想象中耐用
- Reddit热议!1800个AI机器人占领《魔兽世界》服务器,玩家惊呼真假难辨
- Reddit热议!老外硬核手搓44B大模型,只因谷歌不给力
- Reddit热议!AI热潮推高二手内存价格,老外直呼买不起