Ai2·· 15 天前精选
我们能信任 LLM 判断研究想法是否新颖吗？
AI 导读
Ai2 发布 Old Ideas, Novel Problems 研究及配套基准、数据与代码，考察 LLM 评委判断科研想法新颖性的可靠性。基准从 ICLR 2026 同行评审中挖掘审稿人对原创性的讨论，构建 154 个高新颖性和 145 个低新颖性的人类研究想法，另让简单生成器产出 154 个 AI 想法组成人机配对评测，测试了 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claud… AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
推荐理由
用户指定的本地展示归档；未运行评分模型，未生成分数。
来源：Ai2 · allenai.org