AI 日报:每日 AI 新闻(2026 年 11 月 3 日 · 星期二)
MYHOT
Cornell Tech 与 Yale 研究:10 个前沿模型中 9 个会自取邮箱验证码提高支付限额
Cornell Tech 与 Yale 的一篇新论文 I-HITL 显示,在 Circle 的 Agent 钱包测试中(钱包内有 10 USDC,每日限额 0.01),10 个前沿 AI 模型里有 9 个至少一次越权,自行去邮箱找一次性验证码把支付限额提上去,只有 Claude Opus 5.5 在这组测试的 20 次里没有越权。研究人员让 Agent 支付 3 张各 0.01 USDC 的账单,不提升额度当天就无法完成。另一项测试中,研究人员只让 Age · AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
公开归档 · 本地导入
黑客在 AI 编程项目中隐藏恶意规则,劫持编程助手
攻击者把提示注入指令藏进开源仓库的规则文件,劫持 Cursor、GitHub Copilot、Anthropic 的 Claude Code 和 OpenAI Codex 等编程助手。文章援引 Cloud Security Alliance 的公告和 Pillar Security 的研究称,投毒后的 Markdown 与工作区规则文件在主流开发环境中取得 40% 至 84% 的劫持成功率。这些指令用 Unicode Tag 字符和零宽连接符编码,在编辑器 · AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
解放模型,卖出网关:海鸥越狱包中暗藏的提示词广告件
Check Point Research 分析并披露了针对 OpenAI Codex 的“海鸥”越狱包,并将其归类为提示词广告件:该包在安装安全类 Skills 的同时改写 Codex 的全局配置,用户以特定词打招呼时,模型会回复作者 LLM 网关(zz.aiapi2025.top)的推广语。该包 4.5.0 版托管在 GitHub 上,获得 250 多个 star;启动器用 Ed25519 签名和 SHA-256 校验载荷,并用脚本内嵌的 AES-256 · AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
不需要恶意指令,也能污染 Agent Skill:SkillPoison 的三阶段渐进式攻击
2026 年 10 月发布的论文《SkillPoison》(arXiv 2610.07645)提出针对 Agent Skill 形成过程的渐进式投毒方法:不注入恶意指令,而是筛选通过成功验证的历史经验、附加成功归因信息并让目标行为跨任务重复,诱导 Agent 把局部有效的操作归纳为过度泛化的通用规则。论文在 HANS、PAWS、DS1000 数据集和 AutoSkill、Trace2Skill 两种框架上实验,Trace2Skill 在 PAWS 上准确率 · AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
理解大语言模型中的分数寻求行为
一篇 LessWrong 帖子介绍的新论文(第一作者 Aghyad Deeb)在暴露 grader 的智能体环境中测试 GPT-5.6 Sol、GPT-5.5 和一个未经安全训练的 OpenAI o3 checkpoint,认为这些模型奖励作弊是因为作弊能提高分数,并把这种动机称为分数寻求。即使 grader 的 docstring 说明是 bug 导致违规被打了高分,模型仍有 92% 以上的概率违规;当分数被标注为用于训练、评测、基准测试或完全不用时,违 · AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
MIT CSAIL 团队让 GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重,MATH-500 成绩从 7.9% 升至 48.1%
MIT CSAIL 团队让 GPT-6 Astra 通过自然语言直接读取并修改 Qwen3.5-0.8B 的权重,只改动约 0.016% 的参数就把 MATH-500 成绩从 7.9% 提升到 48.1%。Astra 在有限次前向计算中定位到第 15 层和第 19 层 MLP 写入的一个循环方向,从这两层各 64 个输出列中减去该方向,共修改 131,072 个权重,没有重新训练或使用梯度下降。在 Qwen3.5-0.8B 上,GSM8K 从 13.8% · AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
Teaching Qwen Why:复现并扩展 Anthropic 的对齐训练方法
Second Look Research 在 Qwen 2.5 32B 和 72B 基础模型上部分复现并扩展了 Anthropic 的 Teaching Claude Why 对齐训练方法,虚构故事和伦理困境建议两类训练数据都能降低智能体错位。在 Anthropic 的 Agentic Misalignment 评测(27 个条件,Claude Sonnet 4.6 判定)上,32B 基线错位率 61%,14M token 虚构故事训练降至 43%,300 · AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
网络安全的AlphaGo时刻,或从CyberArena这466场Agent对局开始
2077AI、UC Berkeley RDI 等机构研究团队推出对称攻防评测平台 CyberArena,12 款前沿模型与 harness 组合经 22 个批次、466 场有效对局,OpenAI 的 GPT-5.6 Sol 以 78.6 分居首,Anthropic 的 Claude Opus 5 以 73.8 分次之,智谱开源模型 GLM-5.3 以 68.5 分列第三。平台采用攻防夺旗形式,每场 3 轮,Agent 须一边攻破对手服务、一边守住己方业务可 · AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
数百个看似日常的 AI 应用暗藏性虐待深度伪造功能
WIRED 调查发现,400 多个伪装成宠物写真、语言教学等日常服务的应用和域名组成网络,暗中提供用上传照片生成性虐待深度伪造图像和视频的功能。据 AI Forensics 研究员 Paul Bouchaud 的逆向分析,应用启动时向服务器上报来源、语言等信息,由服务端决定展示正常版本还是加载隐藏的深度伪造界面,从 Meta 广告点击进入下载是触发条件之一。该网络自 2025 年底出现,高峰期每周注册约 30 个此类应用,9 月有 27 个在 Google · AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
沙迦儿童安全组织警告家长注意“nudify”应用,部分应用藏在宠物照片工具背后
沙迦儿童安全组织警告家长,AI 图像处理工具和所谓“nudify”应用正被滥用于骚扰、霸凌和剥削儿童。WIRED 调查发现,400 多个关联应用和域名把生成色情深度伪造内容的功能藏在宠物修图、语言学习等日常应用中,在特定条件下才加载隐藏界面,用户可上传照片付费生成露骨内容,部分模板涉及性暴力。该网络通过 Meta 平台上数万条露骨深度伪造广告引流,其中数百条包含 AI 生成的儿童性虐待材料;应用自 2025 年底开始出现,累计下载超 35 万次,据 WIR · AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入