Goodfire Research·· 7 天前精选
Goodfire：通过模型的内部表征塑造并监控模型
AI 导读
Goodfire 提出机制塑造（mechanistic shaping）框架，在训练损失中加入对模型内部概念方向的惩罚，指定模型该依赖什么、不该表达什么，而且只需要一个概念方向和一层可读的表示。方法分为 reliance shaping 与 expression shaping 两种。在胸片诊断实验中，作者用 SAE 和 LLM agent 自动找出导管等伪特征方向并降低模型对它的依赖，准确率超过了用平衡数据训练的软上限；在 OLMo-3-7B 的 DPO… AI Safety HOT (aisafetyhot.com), CC BY-NC 4.0 · 本地公开归档导入
推荐理由
用户指定的本地展示归档；未运行评分模型，未生成分数。
来源：Goodfire Research · goodfire.ai