Simon Willison·· 21 小时前AI 评分32
Qwen3.8 27B 英文单词加法能力测试
Qwen3.8 27B addition in words
AI 导读
一项测试评估了本地 Qwen3.8 27B 模型(`Qwen3.8-27B-Q4_K_M.gguf`)用英文单词表达正整数加法结果的能力。在禁用推理功能的 5070 个测试样例中,模型数值准确率为 23.57%,从 1 至 3 位数的 97.04% 降至 10 至 13 位数的 6.44%。开启推理功能后,模型在 169 次尝试中答对了 167 次。
来源:Simon Willison · simonwillison.net