OpenAI推出AI复现论文新基准测试，Claude表现优异夺得第一名

前沿基准测试问世

4月3日，科研领域推出了一项新的论文基准测试工具。该工具用于评估AI智能体在自主实现人工智能最新研究的能力。这一工具的问世具有显著意义。若大型AI模型能够自动撰写关于AI或机器学习的研究论文，有望加快该领域的发展步伐。但与此同时，这种能力可能引发的风险也应引起关注，以确保AI的稳健进步。

复现实验要求明确

本次基准测试中，研究团队致力于复现机器学习论文中的实验成果。鉴于机器学习论文的复杂性，专家对单次复现的评估往往需要耗费数十小时。如此漫长的评估过程，明显影响了工作效率，促使研究团队探索更高效的评估方法。

自动评判系统开发

研究团队为了加快评估效率，设计了一套依托于大型语言模型的自动评分系统，同时建立了辅助评估的框架。这一框架的目的是将自动评分结果与人类专家的标杆数据集进行比对。他们挑选了三篇论文作为测试样本，进行了细致的评估。此外，他们以机器学习博士在三次测试中取得的最高成绩作为人类评估的参考标准，从而更准确地评估智能体与人类之间的差异。

数据评分标准设置

数据集中包含了对论文复现成功所需具体结果进行评分的标准。智能体在复现时无法直接获取这些标准，必须依据论文内容自行推断复现的细节。在评估阶段，智能体被禁止访问或使用论文作者的原始代码库，目的是检验其独立编码和执行复杂实验的能力。这样的设置旨在保证评估的公正性和有效性。

资源使用规则严格

智能体可接入网络，但不得使用论文中提及的禁止访问的网站资源。评估系统以树形结构展开，逐步细化论文所需的关键成就。每个分支及其下属分支详尽描述了具体成果，若下属分支达标，则其上级分支亦视为达标。评分的最终节点用于评估整体成功率。严格的规定保证了评估流程的周密性。

自动化评估成必要

研究显示，专家对论文进行人工评分所需时间可能长达数十小时。这一时间投入对于大规模论文基准测试来说，成本过高，难以承受。鉴于此，自动化评估技术成为大规模应用此基准测试的必然趋势。此外，尽管大型模型在制定和执行多阶段计划方面具有一定的能力，但在实际操作中仍存在不足，迫切需要提升其实际操作效能。

您是否认同，人工智能在将来有可能全面超越人类专家，并在机器学习研究的复现技能上展现出卓越表现？