量子位· 允中·· 3 小时前AI 评分52
UniPat AI 发布多学科论文复现基准 PaperBenchX,GPT-6 Astra 完整复现率仅 13.98%
ChatGPT踢到铁板了!能破解千禧数学难题,但论文复现率低至13.98%?
AI 导读
UniPat AI 发布首个多学科端到端论文复现基准 PaperBenchX,评测显示 GPT-6 Astra 在 93 个真实科学复现任务中的完整复现率仅为 13.98%。该基准覆盖电磁、化学、材料等 12 个研究方向与 10 种领域原生求解器,通过在隔离环境中重放工作流验证科学证据的可靠性。团队已开源 12 个代表性测试任务。
来源:量子位 · qbitai.com