X @kotekjedi_ml·· 12 天前精选
团队发布仅 46k 参数的提示注入防御模型
AI 导读
研究者 Alexander Panfilov 发布了一个仅 46k 参数的提示注入防御模型。该工作用基于 RL 和 Claudini 发现的攻击做了攻击者后手（attacker-moves-second）评估，作者称 Claudini 很适合用作自适应攻击评测。作者称所得模型比 SecAlign 更少出现角色混淆。作者还指出，模型中存在帮助识别指令的注意力头和促使模型执行指令的注意力头，增强前者可提升提示注入检测。合作者称其攻击显示 HoS 并非不可攻破，… AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
推荐理由
用户指定的本地展示归档；未运行评分模型，未生成分数。
来源：X @kotekjedi_ml · x.com