OpenAI 董事会前成员 Helen Toner:我们仍然无法信任 AI CEO
曾投票解雇 Sam Altman 的 OpenAI 前董事会成员 Helen Toner 在 Decoder 访谈中表示,若对未来的期望依赖任何单个人值得信任,就会陷入大麻烦。她现任乔治城大学 CSET 执行主任,访谈还谈及 AI 对齐能否解决、前沿实验室真正在构建什么,以及更明智的 AI 监管思路。
曾投票解雇 Sam Altman 的 OpenAI 前董事会成员 Helen Toner 在 Decoder 访谈中表示,若对未来的期望依赖任何单个人值得信任,就会陷入大麻烦。她现任乔治城大学 CSET 执行主任,访谈还谈及 AI 对齐能否解决、前沿实验室真正在构建什么,以及更明智的 AI 监管思路。
微软研究人员发现名为 Lazarus 的后门技术,通过权重重编程修改 LLM 中不到 10 个休眠神经元,无需训练即可给基于该模型的智能体植入后门。被植入后门的模型能通过标准评测并表现正常,直到触发条件出现,例如时钟跨入 2027 年后,智能体在普通任务中输出下载并运行攻击者代码的命令,并以用户授予的权限执行。
推荐理由:研究显示仅改写不到 10 个休眠神经元即可给智能体植入后门,且模型仍能通过常规评测,为权重来源与完整性提供了新的风险视角。
一种名为“逆向博弈论”(机制设计)的新思路试图通过设计激励机制让 AI 智能体守规矩,而非窥探模型内部或训练其价值观。MIT 经济学家 Stephen Morris 等人的预印本论文提出让模型互相预测答案、互相对抗或配对偏向相反的模型,以阻止其在测试中故意藏拙。普林斯顿的 Elad Hazan 则提出让模型轮流扮演解题者与审计者,并对失职审计者施罚。
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,把推送保护扩展到无固定格式的密钥,可在 2 毫秒内评估一批候选密钥,有望让可拦截的密钥数量翻倍以上。