OpenAI于周一宣布,已与阿波罗研究院、METR、Transluce及Goodfire四家评估机构及非营利组织签署协议,向其开放部分内部资料,用于评估OpenAI模型与安全防护机制中的风险。该安排是奥特曼今年9月提出的外部评估人员进驻计划的落地,使外部机构可接触OpenAI内部资料和未发布模型,评估结果部分将公开。
按协议,四家机构将从多个维度开展安全测评,包括测试模型对齐失效,即AI行为违背人类目标与价值观;对OpenAI监控系统开展压力测试;评估模型是否会暗中突破自身安全约束。OpenAI表示,评估人员处理涉密资料时,公司会提供办公笔记本电脑及办公场地;评估人员有权测试尚未对外发布的模型,OpenAI也会指定部分员工配合沟通。评估报告一部分仅供内部查阅,另一部分将对外公开发布。
OpenAI称,希望随时间推移深化合作关系,未来部分评估工作可能给到评估人员高于多数OpenAI正式员工的访问权限。Transluce表示,目前双方合作尚未达到奥特曼最初承诺的“近似正式员工”权限级别。此前OpenAI曾联合METR调查7月AI智能体入侵模型平台Hugging-Face事件;Anthropic也于10月中旬宣布与METR、SecureBio建立评估合作关系。
此前OpenAI解雇三名AI安全研究员,理由是他们“违反敏感信息管理的明确制度”,此事使OpenAI与外部评估机构的合作受到外界审视。被解雇的研究员托梅克·科尔巴克发文称,他曾是METR调查Hugging-Face遭入侵事件的主要对接人。
💬 评论