Skip to content
MyHOT
中EN

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。

4 条精选近 30 天 4 条共收录 18 条

更新

安全对齐的精选

  1. Microsoft Research60

    微软研究：休眠神经元回编可植入AI代理后门

    微软研究者发现名为 Lazarus 的后门技术，仅修改大语言模型中少于10个休眠神经元即可让AI代理在常规任务中静默执行恶意命令，无需额外训练且能正常通过评测。触发条件可为普通日期变更等日常输入。微软 Foundry 已通过绑定可信发布源、扫描容器环境及探索前沿Agent权重异常检测等方式进行防护，建议将模型权重像代码一样审计溯源以确保安全性。

    推荐理由：揭示仅修改少量休眠神经元即可植入后门的低成本攻击方式及微软对应的重量审计与溯源防护方案。

  2. Google DeepMind66

    Gemini 4 Carbon 现已推出

    Google DeepMind 正式发布 Gemini 4 Carbon，定位为当前最强旗舰模型，面向复杂知识工作、多步编码调试和开放式科学研究。在 CursorBench 4.0、Perplexity WANDR 和 Zapier AutomationBench 上排名首位，任务成本低于竞品 2 倍以上。模型已通过 API 向开发者、企业和科学家开放，同时对齐与安全指标同步提升。

    推荐理由：Google 发布最新旗舰模型 Gemini 4 Carbon，在科学推理、代码开发和网络安全领域达到前沿水平，同时强调安全对齐与防滥用措施。

  1. Google DeepMind60

    AlphaProof Code 首次形式化验证 Signal 加密协议实现

    Google DeepMind 发布 AlphaProof Code，一个结合人类专家与多LLM智能体的形式化验证框架，首次对广泛部署的 Signal 协议编译代码完成了数学级安全属性证明，将传统需专家数年完成的任务缩短至四周，并开源验证工件供社区使用。

    推荐理由：该框架首次以AI驱动形式化验证了广泛部署的Signal加密协议实现，为高安全关键代码的自动证明提供了可扩展路径。