金耀初：AI智能体须划行为边界并设刚性约束

10月21日，西湖大学可信及通用人工智能实验室创始人、欧洲科学院院士金耀初在2026可持续全球领导者大会上表示，随着AI智能体被赋予自主决策与自主行动能力，人工智能的安全与治理已成为绕不开的核心议题，应为其设置刚性约束。

治理对象从模型转向智能体

金耀初指出，早期AI治理更多聚焦于抑制大模型幻觉、提升输出准确性；而AI智能体不再是被动应答的模型，具备主动执行动作的能力，沙盒逃逸、越界行为等新风险随之出现，治理逻辑需要同步升级。

开发端划边界，使用端守规范

他认为，可控的治理框架需要同时抓住开发端与使用端：在开发AI智能体之初就要清晰划定行为边界，明确可以访问哪些数据、能够执行哪些操作，列出禁止行为清单并做好权限隔离；研发从业者与普通使用者都需恪守AI安全规范。两端双管齐下，AI安全风险整体具备可控空间。

针对公众担忧的“AI产生自我意识、主动作恶”，金耀初判断，现阶段AI并不具备自我意识。目前观察到的说谎、突破沙盒限制等现象，本质上是系统约束与安全管控机制尚不完善带来的边界失效，而非AI拥有主观恶意、主动蓄意破坏。

他强调，无论未来AI是否演化出自我意识，人类在研发阶段都要坚持对齐主流价值观，牢牢掌握关键决策权。AI可以作为强大的辅助执行工具，但高风险、不可逆的重大判断，最终决定权必须保留在人类手中，这是人机协作中不可退让的底线。