Simon Willison 实测 Qwen3.8-27B:先把思考关掉,不然一张 SVG 要 21 分钟
17GB Q4_K_M 在 128G M5 Max 上 15-30 tok/s,但默认 xhigh 推理档会把简单任务拖垮
细节 · 5 条
- 跑法:LM Studio + 官方 17GB Q4_K_M 量化;另在 NVIDIA DGX Spark 上用 llama-server 直跑
- 吞吐 15-30 tokens/sec,Simon 的原话是「唯一拦住它成为日常主力的就是性能」
- 🔴 默认推理档是
xhigh:画一只 pelican 的 SVG 用掉 22,276 个思考 token 生成 3,223 个输出 token,耗时 21 分钟;关掉思考后 137 秒出 3,715 token - 「画一个圆的 SVG」这种请求,它会去推敲同心参考圆、环境微动效和渐变
- ✅ 视觉能力经住了测试:pelican 照片的 bounding box 检测,0-1000 坐标系下「such a good match」
- Simon 的机器是 128GB M5 Max,15-30 tok/s 这个数在小内存 Mac 上不可照搬
- 我没有自己跑过
核实:Simon 原文读了;硬件、量化、token 数、tok/s 均为原文表述