Reddit热议!AMD RDNA3用户福音:开源推理引擎hipEngine性能炸裂
2026-05-25 14:26:50
12次阅读
1个评论
开发者推出专为AMD RDNA3显卡优化的开源LLM推理引擎hipEngine,在Qwen 3.6模型上性能超越llama.cpp,尤其128K长上下文解码速度翻倍。网友热议其INT8 KV缓存技术使256K上下文可运行于24GB显存,但也指出其成熟度较低、仅限RDNA3架构,期待成果能回馈llama.cpp社区。
0
0
2026-05-25 14:27:23

回复 |
引用
共1条
1