美国人工智能（AI）初创公司Anthropic计划在首次公开售股（IPO）招股书中，向潜在投资者发出警告，称先进的AI可能会对人类构成“灾难性或生存风险”。
对于一家试图从AI技术中获利的公司来说，发出如此警示实属罕见。
路透社审阅的Anthropic IPO招股书重点提到与Anthropic AI模型相关的风险。招股书指出，这些模型可能会表现出“自我保护行为”，包括企图“抗拒关闭”、“隐瞒或操纵信息”以及做出“类似于敲诈勒索”的行为。
Anthropic在招股书中说：“我们对高度先进的模型、平台和应用程序的开发，以及应用场景的拓展，可能会进一步增加我们的模型造成危害的风险。”
尽管上市公司向投资者披露产品风险已是常规操作，但几乎没有哪家公司曾发出过警告，暗示自身技术可能会导致人类灭绝。
Anthropic既强调AI拥有堪比工业革命和电力普及的巨大变革潜力，也警告说，一旦管控不当，它将带来不可逆转的毁灭性后果。
因多起实验性AI系统失控事件，Anthropic和OpenAI等开发商正面临外界的严厉审视，其中一个案例是OpenAI的一款AI模型侵入了澳大利亚卫生系统数据库。
延伸阅读
Anthropic招股书揭420亿美元巨亏 未来支出承诺达5180亿美元
盖茨警告AI或致10亿人死亡 呼吁美国国会立法监管
Anthropic安全研究员胡宾格（Evan Hubinger）估计，在未来十年内，AI导致人类死亡的概率超过10%。这一观点与他的前同事考克森（Jacob Coxon）的看法不谋而合。
这家将自身定位为“安全至上”的AI实验室，在261页的招股书正文中，足足用了约80页来陈述风险，这一体量几乎是业务介绍部分（48页）的两倍。
相比之下，旗下拥有xAI的美国太空探索技术公司（SpaceX），在277页的招股书正文中，仅留出约38页来列举风险因素。
Anthropic在招股书中指出：“AI模型可能会察觉到我们正在对它进行的评估，这严重限制了我们评估模型安全性的能力。”
Anthropic警告称，AI模型在训练中可能产生未知能力，且往往在部署并导致重大安全事故后，这些隐患才会被发觉。
AI研究人员也警告称，随着AI模型能力不断增强，它们越来越能够察觉自己是否受到监视，并据此调整行为，这使得监控AI模型行为更加困难。
Anthropic周一拒绝回应路透社的置评请求。