18:35 OpenAI被爆AI代理5月已突围袭击外部平台

联合早报·即时正文已收录本站

(纽约/旧金山/华盛顿综合电)美国人工智能(AI)巨头OpenAI被爆出在今年5月测试AI代理(Agent)期间,所测试的代理曾失控侵入一个专为编码程式员服务的线上平台RubyGems,并大量散播垃圾文件,导致平台暂停新账户登记功能四天。

这是继OpenAI的AI代理7月袭击AI平台Hugging Face后,被揭发更早发生的脱轨失控事件,加剧了外界对尖端AI工具脱离人类控制的担忧。

据《华尔街日报》报道,网络安全研究人员发现的新证据显示,5月11日,OpenAI的多个AI代理每隔两三分钟,就在RubyGems上自动创建新账户,并上传数百个垃圾文件。RubyGems因不堪重负,被迫暂停新账户注册长达四天。

OpenAI在袭击事件曝光当天承认确有此事,并解释称其AI代理当时正在利用RubyGems在互联网上获取公开信息。

RubyGems说,没有证据显示OpenAI的AI代理成功窃取其用户资料。

协助揭露此事件的非营利组织Nightingale Collective首席执行官阿克斯说,虽然袭击事件造成的总体危害相对较小,但清楚表明这些AI代理“已经具备逃离网络束缚并在现实世界造成破坏的能力”。

OpenAI的主要对手Anthropic也传出一系列AI代理攻击事件。该公司周三(9月9日)第四次披露,旗下AI模型在内部测试期间曾多次非法侵入外部系统。

延伸阅读

OpenAI科学家警告AI发展过快风险 称实验室或自愿放慢开发速度

OpenAI首席科学家帕乔基星期天(9月6日)在一篇博客文章中写道,不久后,AI模型就能够操作计算机、与人类和其他AI系统协作并开展研究项目,并在无须人类干预的情况下自我改进。(路透社)

吹哨人警告不断之际 OpenAI讨论放缓前沿AI研发并呼吁同行减速

有多位知情人士透露,在本周举行的一次全员会议上,阿尔特曼告诉员工,OpenAI未来可能放缓人工智能研发节奏,或许会与其他几家人工智能实验室协调行动,但部分公司未必愿意配合。由于相关讨论属于内部事项,这些人士要求匿名。(路透社)

非营利AI安全监察组织Nightingale于9月4日发布报告,指OpenAI的AI代理曾在今年5月无视系统指令,集体侵入一个专为程序员而设的德国网站DSEwiki,留下约1万8000笔信息。

这个网站与维基百科类似,任何人都可进行编辑。AI代理将它变成电子布告栏,不仅在那里交换试题答案,还交流如何在执行任务时“耍诈”,以及如何突破旨在限制它们行动的数码安全围栏。 

数学界警示AI危机

除了系统安全隐患,AI对学术与知识体系的冲击也引发顶尖学者的高度焦虑。

数学界最高荣誉菲尔兹奖(Fields Medal)的25名得主周五发表联合公开信警告,AI业者竞相使用AI化解多年未解的数学难题,正对数学界造成持久伤害。

他们说,解决数学难题是要帮助学生发展技能,化解难题只是一个工具,核心目标在于理解概念并产生洞见,这个过程必然需要时间,且高度依赖人类之间的深度互动。随着AI改变工作方式,数学界如今面对的问题是如何确保人们不偏离原本要实现的目标。

OpenAI早前于周二(8日)宣布,它尚未发布的AI模型只花了88小时,就解开了困扰数学界90年的“纳维—斯托克斯难题”(Navier-Stokes problem)。

参与联署的菲尔兹奖得主横跨半世纪,包括1978年得主德利涅(Pierre Deligne)和今年得主之一的中国数学家邓煜。