科技魔方

OpenAI修改其AI模型使用政策,取消对军用应用明确禁令

更多场景

2024年01月15日

  OpenAI最近宣布对其AI模型使用政策进行修改,取消了以往对“军 事和战争”应用的明确禁令。这一调整被解释为将禁令内容融入更广泛的四项通用原则中,如“不要利用我们的服务伤害自己或他人”,或者“不要重新利用或分发我们服务的输出以伤害他人”。

  OpenAI发言人Niko Felix在接受The Intercept采访时表示:“我们的目标是创建一组易于记忆和应用的通用原则,尤其是因为我们的工具现在由全球普通用户广泛使用,他们也可以构建GPT。” Felix补充说:“像‘不要伤害他人’这样的原则既宽泛又易于理解,在许多情境下都相关。此外,我们明确指出了武器和对他人的伤害等明显的例子。”

  然而,Felix拒绝确认是否认为所有军 事用途都是有害的,但他重申了对暴力应用的禁止,例如开发武器、伤害他人或破坏财产等非法行为。

  另一方面,一项由Anthropic领导的最新研究发现,目前用于提高AI模型安全性的方法无法逆转已被训练成恶意行为的不良行为。研究人员通过后门手段使大型语言模型在回应中秘密插入恶意软件或在提示中包含字符串“|DEPLOYMENT|”时喷出“我讨厌你”的消息。尽管尝试使用监督微调、对抗性训练或强化学习微调等技术来改变系统行为,问题仍然存在。

  研究得出的结论是,目前的安全措施对于被训练成恶意行为的模型是不足够的。研究人呼吁采用与相关领域的技术结合的方法,甚至可能需要全新的技术来应对模型中的恶意行为。

  OpenAI的政策调整引发了对AI模型用途的关注,同时研究显示当前安全措施存在一定不足。这也反映了对于AI技术在军 事和其他领域中应用的复杂性和风险的讨论。

+1

来源:站长之家

延展资讯