科技魔方

OpenAI 领导者表示:我们非常重视安全

OpenAI

2024年05月20日

  OpenAI近期面临重大人事变动,引发业界对其AI安全承诺的关注。上周,公司联合创始人兼首席科学家Ilya Sutskever宣布辞职,以追求其他项目。与此同时,“超级对齐团队”负责人Jan Leike也宣布离职,并在公开信中表达了对公司领导层的失望,特别是对AI安全重视不足的问题。

  Leike特别指出,公司在人工通用智能(AGI)的安全问题上缺乏足够的重视。AGI是一种尚未实现的AI形态,能够像人类一样思考和推理。他强调,我们迫切需要认真对待AGI带来的影响,并呼吁OpenAI成为一个以安全为先的AGI公司。

  对此,OpenAI的CEO Sam Altman和总裁Greg Brockman在联合声明中回应称,他们对AGI的风险和潜力有着清晰的认识。他们表示,公司一直在倡导国际AGI标准,并在检查AI系统可能带来的灾难性威胁方面发挥了先锋作用。

  此外,他们还提到,公司已经建立了安全部署越来越强大系统的基础设施,并以GPT-4的推出为例,展示了公司如何在安全方面做出了大量工作,并根据部署中学到的经验不断改进模型行为和滥用监控。

  据彭博新闻报道,除了Leike之外,“超级对齐团队”的其他成员也在近几个月离开了OpenAI,这无疑给公司带来了更多挑战。为了应对这一变化,公司任命了专注于大型语言模型的联合创始人John Schulman作为组织对齐工作的新科学负责人。

  除了“超级对齐团队”,OpenAI还有许多专门从事AI安全的员工分布在公司内的不同团队,以及一些专门致力于安全的独立团队。其中就包括一个准备团队,负责分析和减轻与AI系统相关的潜在灾难性风险。

  Sam Altman在本月早些时候的“All-In”播客中表示,他支持创建一个国际机构来监管AI,以应对可能造成的“重大全球伤害”。这表明OpenAI及其领导层对AI安全问题的认识和承诺仍然坚定,尽管公司内部的人事变动带来了一些不确定性。

+1

来源:站长之家

延展资讯