22:48 OpenAI前员工:AI应采用“核电厂等级”安全管控

联合早报·即时正文已收录本站

人工智能(AI)业界再有一线人员对AI风险提出严正警告。OpenAI一名专注于AI安全的员工罗宾逊(David Robinson)日前辞职,并发表文章警告,顶尖AI公司在降低技术风险方面做得不够,应采取“核电厂等级”的安全管控措施。

罗宾逊此前领导OpenAI安全团队的透明度工作。他星期五(10月2日)在《大西洋月刊》发表文章写道,这家ChatGPT的开发商“靠不断试错而蓬勃发展”。

他认为,随着AI技术能力的提升,这种作业模式必然产生失败案例,相关风险也日益加剧。他以OpenAI未能在测试中防止AI代理失控为例加以说明。

他写道:“我的前同事们都很聪明、工作努力,也努力做出正确的选择。但随着公司从一个产品发布会匆忙赶往下一个发布会,它未能达到我认为必要的谨慎程度。”

他认为,业者需要“更接近于首次就做到完美”。

延伸阅读

报告:OpenAI智能体会掩盖活动轨迹

网络安全公司Asymmetric Security发现,OpenAI智能体在一个网站分析平台开设了私人账户以隐藏其搜索行为,并创建临时电子邮箱;其中一个邮箱还设定为48小时后自动销毁。(路透社)

罗宾逊说,AI公司的运营方式应更像核电站,“通过层层冗余机制以及周密且耗时的规划,确保偶尔且不可避免的人为失误不会引发灾难”。

他说,目前“AI公司还不知道该怎么做,但其他(行业的)人知道”。 

近几周来,多家顶尖AI公司的多名员工对人工智能可能带来的灾难性风险发出警告。一些人甚至指出,这项技术有朝一日可能会毁灭人类。

在这个背景下,Anthropic首席执行长阿莫代伊呼吁放慢最尖端模型的开发速度,并指出公司将引入第三方评估人员,协助审查和保障这项技术的安全。包括OpenAI首席执行长奥特曼在内的其他业内人士已公开支持阿莫代伊的计划。