单RTX5090跑Qwen3.6-27B-INT4破百TPS引Reddit热议
2026-04-27 04:53:09
68次阅读
0个评论
楼主分享用vLLM 0.19在单RTX5090上跑Lorbus量化的Qwen3.6-27B-INT4，256k上下文达105-108TPS；评论区有3090跑通案例、16G显存难撑的反馈，还讨论量化质量、配置优化建议。
0
0
相关帖子
- Qwen3.6-27B发布 基准超Claude Opus引Reddit热议
- Unsloth发布Qwen3.6-27B-GGUF模型引网友热议
- 本地LLM吃豆人开发PK：Gemma 4 31B击败Qwen 3.6 27B
- Qwen3.6 27B代理指数追平Sonnet 4.6引Reddit网友热议
- Qwen3.6 27B编码效果超35B MoE引本地AI用户热议
- 通义千问Qwen3.6-27B开源发布，性能亮眼引热议
- 通义千问Qwen3.6 27B本地实测表现优异引网友热议
- 本地跑Qwen3.6/Gemma4体验佳？网友实测各模型优劣引热议
- 网友用RTX6000 Pro跑本地Qwen3.6当日常编程主力
- Reddit网友晒4块RTX6000Pro跑大模型，评论区热议