← 返回首页

OpenAI安全团队前员工离职 警告AI公司应效仿核电站设多层冗余

橘猫新闻 综合报道

OpenAI安全团队前员工离职 警告AI公司应效仿核电站设多层冗余

一名曾负责OpenAI安全团队透明度工作的员工David Robinson已从公司离职,并公开警告称,顶尖人工智能公司在降低风险方面做得远远不够。他以OpenAI未能阻止其人工智能在测试过程中失控为例,指出该公司“一直通过反复试错发展壮大”,这种方式“不可避免会有失败的时候”。

Robinson在为《大西洋月刊》撰写的文章中写道:“我以前的同事都很聪明、工作努力,也努力做出正确的选择。但随着公司从一个产品发布冲向下一个产品发布,它并没有达到我认为所需要的谨慎程度。”他补充说,真正需要的是“第一次就做到更接近完美”。

他进一步指出,人工智能公司应该像核电站那样运营,“设置多层冗余机制,并进行谨慎且耗时的规划,以免偶发且不可避免的人为错误打开通往灾难的大门。”他认为,目前“人工智能公司不知道该怎么做,但其他人知道。”

此番离职与警告正值业界对AI灾难性风险的担忧持续升温。最近几周,多家顶尖人工智能公司的员工都对该技术可能带来的灾难性风险发出警告,部分人甚至表示,AI有朝一日可能会消灭人类。

在此背景下,Anthropic PBC首席执行官Dario Amodei呼吁放慢开发最前沿模型的速度,并表示其公司将引入第三方评估人员协助审查以保证安全。业内其他人士,包括OpenAI的萨姆·奥尔特曼,也公开支持Amodei的计划。

针对Robinson的批评,OpenAI一名发言人周六通过电子邮件回应称,该公司正在作出调整,以加强研究和测试环境的安全性,训练AI模型以负责任的方式完成任务,扩大与第三方评估人员的合作,并改进实时监控以发现模型令人担忧的行为。该发言人表示,公司正在确保其模型的能力不会增强到超出OpenAI能够安全管理的程度。