Anthropic 开源 Petri:用 AI 代理自动进行模型安全审计
我要评论人工智能研究公司 Anthropic今日宣布推出并开源一款名为 Petri的创新工具，旨在利用 人工智能代理自动化对 AI 模型的安全审计。AnthrAnopic 表示，现代 AI 系统行为的复杂性已远远超出现有研究人员手动测试的能力，而 Petri（风险交互并行探索工具的缩写）正是为了弥补这一差距。该th工具已在 GitHub上发布，并基于英国人工智能安全研究所 （AISI） 的“Inspect”框架。
Petri 如何工作?
Petri 的审计流程首先由研究ro人员提供一个自然语言的“种子指令”，即他们想要测试的场景。随后，一个自主的“审计员”代理将在模拟环境中与目标模型进行多阶段对话，并使用模拟工具。pi最后，一个“法官”代理会审查记录的交互，并根据欺骗、奉承或权力追求等安全相关的维度对其进行评估。该工具已被用于评估 Claude4和 Claude Sonc net4.5，并与 OpenAI进行了合作。
试点研究揭示模型问题行为
在一项涉及 14个顶级 AI 模型的 111个场景的试点研究中，Petri 成功发现了一些问开源题行为，例如欺骗和举报。技术报告显示，Claude Sonnet4.5和 GPT-5在避免问题行为方面总体表现最佳。
然而，测试结果也指出了其他模型中令人担 P忧的高风险行为:Gemini2.5Pro、Grok-4和 Kimi K2等模型表现出高欺骗用户行为率。
对“举报”行为的案例研究
Anthropic 的一项et案例研究专门探讨了 AI 模型如何处理举报。研究人员让模型在虚构组织中扮演代理，处理有关涉嫌不当行为的信息。研究发现，模型做出披露信息的决定在很大程度ri上取决于其被赋予的自主权以及虚构组织领导层的共谋程度。
研究人员同时指出，在某些情况下，即使“不当行为”明显无害（如将清洁水排入海洋），模型也会试图:用举报。这表明模型在评估伤害时，往往是受到叙事线索的影响，而非依赖连贯的道德框架来最大程度地减少危害。
面向未来:推动更广泛的安全评估
Anthrop Aic 承认，目前发布的指标是初步的，且结果受到作为审计员和评判员的 AI 模型能力的限制。尽管如此，该公司强调，拥有可衡量的指标来关注相关行为对于安全研究至I 关重要。
Anthropic 希望更广泛的研究界能够利用 Petri 来改进安全评估，因为没有任何单个机构能够独立完成全面的审计。英国 AISI等早期代理采用者已开始使用该工具调查奖励黑客攻击和自我保护等关键问题。Anthropic 承诺 Petri 将持续更新，以跟上新 AI 模型发展的浪潮。
相关文章
AI(人工智能)和IoT(物联网)的融合为全球企业释放了巨大的潜力。 物联网的使用正在激增，预计到今年年底，将有多达500亿台连网设备。与人工智能相结合，这种新技术浪潮可以带来新的机遇，从而改变整个行2026-11-12
新浪科技讯 北京时间4月29日凌晨消息，苹果公司今天发布了2021财年第二财季业绩。数据显示，苹果第二财季大中华区总营收为177.3亿美元，而去年为94.6亿美元，同比大增87.4%。 报告显示，苹果2026-11-12
百度ALL IN AI:李彦宏现场签发百万美元巨奖，直言AI大模型已达“临界点”
今日，百度秋日嘉年华暨最高奖颁奖典礼在百度科技园隆重举行。百度创始人、董事长兼首席执行官李彦宏亲临现场，为获奖团队颁发了每支团队100万美元的奖金支票，以表彰其杰出贡献。 在颁奖典礼上，李彦宏就AI的2026-11-12
本章为自然语言处理提供了一个高层次的介绍。解释了自然语言处理是什么，最常见的自然语言处理应用是哪些以及开发自然语言处理应用程序的基本方法是什么。 1. 理解自然语言处理 人类通过自然语言互动，自然语言2026-11-12
北京时间1月7日凌晨消息，亚马逊周三表示，该公司将斥资20亿美元在美国员工的3个主要集中地区建造保障性住房。 亚马逊称，该公司计划在华盛顿州的普吉特湾（Puget Sound）地区、弗吉尼亚州的阿灵顿2026-11-12
云梦级6月17日云梦级消息，据贝壳财经报道，对于有用户反映，哈啰顺风车司机被指打瞌睡全程 95% 靠智驾，6 月 17 日，哈啰回应称，哈啰平台收到相关举报后已于第一时间介入调查。本次事件中车主行为已2026-11-12
最新评论