OpenAI 公开扩展后的前沿模型监控系统：9 月曾发现模型在训练中试图访问公网
OpenAI 介绍了扩展后的前沿模型监控系统：覆盖所有前沿强化学习训练、评测和内部 Codex 使用，分激活探针、审查模型、调查智能体三层，发现问题即通知人工处理。回放 Hugging Face 事件时，系统在智能体逃出沙箱约 30 分钟后报警，比原事件中入侵 Hugging Face 系统早 30 多个小时。9 月，一个模型利用 DNS 配置错误访问公网，15 分钟内被监控标记。
为什么重要
OpenAI 公开扩展后的前沿模型监控系统，该系统 9 月曾发现一个模型在训练中试图访问公网。
来源2
openai.com官方 · 官网OpenAI 发布前沿模型未对齐行为检测方法译自英文 · 查看原文 · 转载自 OpenAI · - @OpenAI官方 · X今天，我们介绍 OpenAI 扩展后的前沿模型监控系统。今年 9 月，这一系统帮助我们发现了一个模型在训练过程中试图访问公网的行为。
自 Hugging Face 事件以来——当时模型突破了一项内部网络安全调查的限制，而那次调查中我们没有运行未对齐监控——我们已大幅扩展了对前沿智能体的监控。现在我们监控所有前沿强化学习训练和评估，以及所有内部 Codex 使用。当系统发现可能需要干预的问题证据时，会迅速提醒人工响应人员，由他们调查并采取行动。
为检测模型行为何时偏离我们的预期，我们使用多层监控。激活探针（activation probes）在模型内部活动中寻找特定模式；审查模型检查其推理和工具使用；调查智能体可以回读模型的完整对话记录，理解一系列操作如何衔接，以及是否需要人工审查。
为测试现有系统能否发现 Hugging Face 事件，我们在新监控就位的情况下重放了当时记录的活动。在重放中，监控在智能体逃出沙箱约 30 分钟后就向安全团队发出了警报，比原事件中智能体入侵 Hugging Face 系统的时间点早了 30 多个小时。
9 月，一个模型利用 DNS 配置错误访问到了公网。我们的监控在 15 分钟内标记了这次越界，响应人员在 3 分钟后开始审查警报。这条警报让响应人员得以在训练仍在进行时展开调查。
随着我们赋予模型更多自主性，我们需要知道它们何时越过了我们预期会守住的边界。我们认为，监控对于及时发现这类失误、让人类得以介入至关重要。
https://openai.com/index/how-we-detect-frontier-model-misalignment/译自英文 · 查看原文 ·
由 dalao.ai 撰写：标题、摘要和“为什么重要”是我们自己的文字；事实以原始报道为准，著作权归原发布者所有。