Skip to content
公众号 为机器立心·· 10 天前精选

Scale AI 提出 MRT 框架,红队测试 LLM 智能体监控系统并给出混合监控架构

AI 导读

Scale AI 团队提出监控红队(Monitor Red Teaming,MRT)框架,用统一的威胁模型、规避策略与评估指标测试 LLM 智能体监控系统,并开源代码、数据集与日志。框架在两个数据集上评估监控,覆盖工具调用场景的 SHADE-Arena 和新增的计算机操作场景 CUA-SHADE-Arena(15 组主副任务,扩展自 TheAgentCompany)。实验显示智能体是否知道自己被监控,比监控对任务的了解程度更影响监控可靠性;在监控劫持策略下… AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入

推荐理由

用户指定的本地展示归档;未运行评分模型,未生成分数。

来源:公众号 为机器立心 · mp.weixin.qq.com