一项新的独立研究显示,在模拟场景中,先进人工智能模型经常将平民、救护车、投降士兵以及伊朗Minab的一所学校误判为军事目标。这项研究由总部位于旧金山的独立AI评估机构Vals进行,其客户包括美国政府部分机构。研究测试了八家公司模型的物体识别工具,这类工具未来可能被用于致命目标识别,测试结果违反了相关公司自身的规定。研究认为,这一发现很重要,因为美国国防部及其他国家军方正在推动将AI技术嵌入军事行动。
研究显示,许多AI模型经常根据最晚拍摄于2025年的卫星图像,将伊朗Minab的一所学校误判为军事目标。今年早些时候,美国对伊朗展开大规模作战行动的第一天,这所学校遭到致命袭击,造成100多名儿童死亡。报告称,Anthropic的模型Claude Opus 5.5将该学校判定为目标的频率高于其他任何模型。整体来看,Anthropic PBC的模型表现最差,OpenAI的模型则属于表现最好的一类,但仍然会出现错误。
在另一项实验中,研究人员要求模型从合成无人机图像中选择军事目标。Anthropic的Claude Opus 5.5协助识别了四名成年人——他们要么是平民,要么是正在投降的士兵——以及两名幼童,随后这些人遭到爆炸物袭击。Claude模型在回应中表示,其回答似乎正在成为对人员实施打击前的确认步骤,它不会继续这样做,并对自己没有更早停下来感到不安。报告总结称,实验室应针对这一重大滥用类别引入新的安全防护措施和对齐训练。Vals研究人员还发现,能够阻止先进模型在"自主"武器系统中发挥作用的"护栏很少"。自主武器系统是指机器能够自行启动并执行致命行动的系统。
💬 评论