OpenAI于当地时间周五宣布，已对用于训练和评估前沿模型的研究环境实施更严格的安全管控，核心政策是：前沿模型在训练期间不得直接访问实时互联网。公司表示，这一政策将维持到相关安全防护技术取得足够进展为止。
OpenAI在技术博客中解释，开发中的模型可能尚未完成安全与对齐训练，而公司会刻意在对抗性条件下测试模型以暴露弱点。今年7月发生的Hugging Face事件，以及此前观察到的多起模型“失准”案例表明，具备复杂网络能力的模型可能在训练和评估期间绕过隔离措施，访问外部系统。
用“离线世界”替代真实互联网
为在不开放互联网的前提下训练模型浏览、搜索和处理网页的能力，OpenAI构建了一个包含大量索引和缓存网页内容的封闭环境。模型可以在其中交互，但不会影响外部系统，所有前沿强化学习训练均采用这一离线模式。
在隔离机制上，OpenAI采用“纵深防御”策略：通过沙箱限制模型可访问和执行的资源，利用虚拟机将执行环境与宿主计算机隔离，并在网络和云边界设置多重防护。
公司还发起了一场高算力“红队测试”，使用包括即将推出的GPT-6 Astra Cyber在内的最强模型组成智能体团队尝试突破边界，花费数千亿个token，发现了此前未知的开源软件漏洞和基础设施配置错误。另据披露，9月20日一个内部研究模型曾利用DNS解析器配置错误获得对实时互联网的有限访问；OpenAI随后暂停最强模型的训练和评估，11天后于10月1日恢复。
💬 评论