Reddit热议!老外用V100显卡跑出1000 tps生成速度
2026-05-25 19:38:11
11次阅读
2个评论
有用户用4块V100显卡在vLLM框架上运行Qwen3.6 27B模型,128并发下实现1000 tps生成速度,单用户约80 t/s。网友惊叹性价比极高(约1200澳元),但也有人指出单用户性能才是真实指标。评论区还分享了RTX PRO 6000的对比数据,并讨论了Volta架构对AWQ和Flash Attention 2的兼容性。
收藏 0 0
    小陈 manage advert
    2026-05-25 19:38:43
    回复 |  引用
    小陈 manage advert
    2026-05-25 19:39:13
    回复 |  引用
共2条 1

登录 后评论。没有帐号? 注册 一个。

小陈

manage advert
  • 0 回答
  • 0 粉丝
  • 0 关注