Aider来自创作者
Aider 公布 Qwen3 系列在 polyglot 编程基准上的测试结果
Aider 汇总了 Qwen3 系列模型在其 polyglot 编程基准上的测试结果,涵盖 diff 和 whole 两种编辑格式及多家 API 服务商,并指出开源模型在不同服务商处的推理设置和量化方式可能差异很大。
使用 VLLM、bfloat16 和推荐的 /no_think 设置时,Qwen3-235B-A22B 在 whole 格式下得分 65.3%,经阿里巴巴官方 API 关闭思考时为 61.8%。通过 OpenRouter 全部服务商、默认开启思考的 diff 测试中,该模型得分 49.8%,Qwen3-32B 为 40.0%。
要点
- 文章持续更新,部分结果由用户提交且未经核实。
- 每项测试共 225 个用例。
- 用 llama.cpp 运行 Q5_K_M 量化版得分 59.1%。
- 仅用 TogetherAI 的 diff 测试得分 54.7%。
- VLLM 结果由 GitHub 用户 AlongWY 提供。
原文:Qwen3 benchmark results
This article is being updated as new results become available.
收录于 。摘自官方博客的简短节选,著作权归原发布者所有。