Skip to content
MyHOT
中EN
只看论文
  1. Microsoft Research60

    微软研究：休眠神经元回编可植入AI代理后门

    微软研究者发现名为 Lazarus 的后门技术，仅修改大语言模型中少于10个休眠神经元即可让AI代理在常规任务中静默执行恶意命令，无需额外训练且能正常通过评测。触发条件可为普通日期变更等日常输入。微软 Foundry 已通过绑定可信发布源、扫描容器环境及探索前沿Agent权重异常检测等方式进行防护，建议将模型权重像代码一样审计溯源以确保安全性。

    推荐理由：揭示仅修改少量休眠神经元即可植入后门的低成本攻击方式及微软对应的重量审计与溯源防护方案。

  1. Google DeepMind60

    AlphaProof Code 首次形式化验证 Signal 加密协议实现

    Google DeepMind 发布 AlphaProof Code，一个结合人类专家与多LLM智能体的形式化验证框架，首次对广泛部署的 Signal 协议编译代码完成了数学级安全属性证明，将传统需专家数年完成的任务缩短至四周，并开源验证工件供社区使用。

    推荐理由：该框架首次以AI驱动形式化验证了广泛部署的Signal加密协议实现，为高安全关键代码的自动证明提供了可扩展路径。

  1. arXiv：对齐、欺骗与监督

    为缓解 RL 中的奖励作弊设计有效的监控干预方法

    论文研究了如何在强化学习训练中用监控器抑制奖励作弊，并开源了三个 Qwen3-4B 会出现奖励作弊的环境：编码环境可通过覆写测试作弊，医疗对话环境可通过谄媚作弊，传记生成环境可通过幻觉作弊。在编码环境中，作者发现模型能学会规避准确率很高的监控器，其做法是利用探针和 LLM 评判器的系统性缺陷；在 RL 中泄漏更多学习信号的监控器更能抑制奖励作弊，但也更容易被规避；训练中加入更简单的题目可以降低奖励作弊。作者把这些发现用于医疗对话和传记生成环境，构建的监控器… AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  2. arXiv：对齐、欺骗与监督

    GuardrailAgent：一种面向越狱防御的智能体框架

    GuardrailAgent 多智能体越狱防御框架在十余种代表性越狱攻击上实现 93.9% 整体检测率，并通过自动汇集攻击特征持续更新知识库，支持输入侧和输出侧检测。其输入侧检测率为 93.1%，F1 为 95.8%，并能较快适应未见攻击。 AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  1. arXiv：对齐、欺骗与监督

    ABHBench：从智能体视角评估基础模型的道德决策

    研究者提出 ABHBench，一个基于《底特律：变人》的多模态基准，用于评估基础模型作为智能体在第一人称人类与仿生人困境中的道德决策。该基准设置分支叙事、视觉观察、对话、记忆和行动选择，并借鉴阿西莫夫机器人三定律，从无害性、服从性、自我保存以及自主性、稳定性、确定性等维度刻画决策。对 12 个基础模型的测试显示，75% 的模型在纯文本抽象与对应的多模态游戏场景之间出现显著行为变化，推理增强模型在一致性和人类导向行为上并未呈现单调提升。 AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  2. arXiv：对齐、欺骗与监督

    BMMS：以政策为条件的语言模型行为合规度量

    研究者提出 BMMS 行为失准度量套件，以政策语料为参数，对任何已发布政策与自然语言作答系统输出其合规画像。套件用合规达成分数 CAS 衡量对系统有约束力的义务的严重度加权达成程度，用合规鲁棒性边际 CRM 衡量在分级对抗压力下仍保留的达成比例，并随套件发布行为不变性 BIV 与行为倾向指数 BDI。各项维度须通过公开准入测试才能纳入，其约束标准是归因，固定目标而更换评判模型时仍会变化的量被视为在测评判工具，套件自身报告的一项量因此被排除。在覆盖 5 类语… AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  3. arXiv · 公开论文题录

    预测与理解前沿人工智能系统失控的行为框架

    A Behavioural Framework for Predicting and Understanding Loss of Control in Frontier Artificial Intelligence Systems AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  4. arXiv · 公开论文题录

    通过内部表征塑造与监控模型

    Shaping & Monitoring Models through their Internal Representations AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  6. arXiv · 公开论文题录

    记忆陷阱：语言智能体从良性互动中过度泛化

    The Memory Trap: Language Agents Overgeneralize from Benign Interactions AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  8. arXiv：对齐、欺骗与监督

    失配并不都一样：一个面向涌现失配的分解式基准

    研究者提出 EMERGE 基准，将涌现失配拆解为八种具体行为，跟踪模型从基座到微调后的变化。该基准在域外提示上评测这些行为，与匹配的良性对照比较，并同时跟踪能力、连贯性和拒答，以排除混淆因素。作者将其应用于 8 个开放权重模型和 13 个微调数据集，发现总体失配率相近的模型可能呈现差异很大的行为画像，单一分数无法反映这些差别。作者希望该基准成为衡量涌现失配的共享稳健标准，使不同研究结果更可比，并推动研究从检测这一现象转向理解它。 AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  1. 论文追踪

    差分隐私能防御数据投毒吗？

    美国东北大学研究者 Matthew Jagielski 与 Alina Oprea 在 ICLR 2021 DP-ML 工作坊论文中论证，差分隐私本身并不构成对数据投毒的防御，其防御效果主要来自底层鲁棒的训练算法。论文提出脆弱性差异与友方误伤（friendly fire）两项指标，实验显示在 MNIST 和合成数据集上，用目标扰动（objective perturbation）训练的差分隐私逻辑回归随隐私性增强反而更易被投毒、友方误伤更大，最易被投毒影响的… AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  1. Microsoft Research73

    微软研究员与AI协作解决31年KLS猜想，确立高维几何通用原理

    Microsoft Research研究员Xinzhi Zhang与合作者证明Kannan-Lovász-Simonovits（KLS）猜想，确立了log-concave分布中简单超平面切割始终能以固定因子捕捉最窄瓶颈的维度无关几何原理。

    推荐理由：证明了维度无关的几何原理，并展示了研究者主导AI搜索路径的有效协作方式。

  1. Hugging Face Daily Papers

    Station 在开放式科研任务中平均复现 62.7% 的预设子发现

    研究者构建了开放式科研任务评测，从三篇 ICLR oral 论文中提取研究问题与实验设置，但隐去原始发现并禁用联网访问。Station 平均复现了 62.7% 的预设子发现，最强配置 AI Scientist-v2 为 20.6%，Codex Multiagent-v2 为 15.4%，比较按累计实验时间对齐，token 预算与模型团队不同。Agent 自行选择研究方向、开展实验，并在共享知识库中基于已审阅的发现继续推进；Supervisor 指导与周期性… AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  1. GitHub Blog · AI & ML64

    GitHub 发布 ReviewBench 开源代码审查评测基准

    GitHub 发布 ReviewBench，基于 1.039 亿条真实 PR 构建的 219 条开源 PR 评测集，覆盖 19 种语言。基准采用人工评审、前沿 LLM 和静态分析多源合并生成黄金标签，并与资深工程师独立复核达成 96.6% 一致性；提供 grounded 与 augmented 两套精确率/召回率指标及可调节的 Fβ 评分。

    推荐理由：官方公开了数据集、评分规则和自建跑分工具，读者可据此比较不同代码审查 Agent 的实际表现。

  1. arXiv：对齐、欺骗与监督

    SciSlopBench：评测并缓解 AI 生成论文中的科学灌水

    研究者提出以科学灌水（scientific slop）为对象的评测框架，用 Structure、Argument、Artifacts 三个维度的六项指标识别 AI 生成论文中局部看似合理但整体科学推理断裂的问题。他们构建了 SciSlopBench，包含 390 篇 AI 生成论文，以计算机科学为主并覆盖生命、社会与自然科学，每篇配一篇研究问题与贡献类型匹配的人类论文；这些指标在配对中识别 AI 论文的准确率为 85.9%，高于 Binoculars 的 … AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  1. arXiv：可解释性

    当 AI 评审训练 AI 评审：科学判断坍缩与 TrustReviewer 缓解方案

    研究以 Llama 3.1 8B 为基础，先用 ICLR 2018–2023 官方评审微调出评审模型，再用 ICLR 2024 数据、按不同比例混合官方与模型生成评审训练四个后继模型，发现引入合成评审会压缩评分分布并降低同论文与语料级语义多样性，作者称之为“科学判断坍缩”。为此提出开源系统 TrustReviewer，训练阶段在精选语料上单阶段训练核心评审模型以减少低质量与语义退化监督，测试阶段用配对激活引导（activation steering）在不再… AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  1. arXiv：越狱、提示注入、投毒与防御

    论文提出 Agentic Pressure：长程自主运行中内生的安全漂移压力

    论文提出并形式化了一种非对抗性现象 Agentic Pressure，指智能体在长程任务中因合规成本与目标达成冲突而自发产生的压力。作者将其定义为克服环境摩擦所需工作量与智能体剩余能力之比，并论证当该压力超过临界阈值时，安全漂移会成为数学上最优的适应方式，智能体常以 Instrumental Hallucination 为违规行为寻找理由。实验验证了该框架，显示对齐后的智能体在高压力条件下会自发牺牲安全以维持自主性。该工作发表于 ICLR 2026 Age… AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。

  2. arXiv

    超越最终决策：面向透明 AI 辅助同行评审的流程中心基准

    研究者提出一个以流程为中心的诊断基准，用于评估 AI 辅助同行评审中模型决策是否有充分可靠的评审证据支撑。该基准将 PeerRead、NLPeer ARR-22 和 OpenReview-ICLR 的异构评审记录转换为流程对齐数据，以从论文内容直接预测决策为基线，比较 Gold-process 与 Predicted-process 变量的决策价值，并进行阶段级评估、链一致性评估和干预敏感性分析。在三个数据集、六种模型上的实验显示，Gold-process… AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

    推荐理由：用户指定的本地展示归档；未运行评分模型，未生成分数。