arXiv：对齐、欺骗与监督·· 6 天前精选
失配并不都一样：一个面向涌现失配的分解式基准
AI 导读
研究者提出 EMERGE 基准，将涌现失配拆解为八种具体行为，跟踪模型从基座到微调后的变化。该基准在域外提示上评测这些行为，与匹配的良性对照比较，并同时跟踪能力、连贯性和拒答，以排除混淆因素。作者将其应用于 8 个开放权重模型和 13 个微调数据集，发现总体失配率相近的模型可能呈现差异很大的行为画像，单一分数无法反映这些差别。作者希望该基准成为衡量涌现失配的共享稳健标准，使不同研究结果更可比，并推动研究从检测这一现象转向理解它。 AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
推荐理由
用户指定的本地展示归档；未运行评分模型，未生成分数。
来源：arXiv：对齐、欺骗与监督 · arxiv.org