什么是超级智能?

　　超级智能的发展是科学家们争论不休的话题。

　　OpenAI强调了超级智能的巨大潜力和相关风险，超级智能是更传统的通用人工智能(AGI)概念的演变。该企业认为，这种功能强大的技术可能在目前的十年内出现，可能解决重大的全球问题，也可能导致人类的权力丧失或灭绝。OpenAI的策略包括创建一个具有人类水平能力的自动对齐研究员，并利用大量计算资源迭代地训练和对齐超级智能。这个过程被称为超级智能校准，需要人工智能校准技术的创新、广泛的验证和对抗性压力测试。OpenAI正在投入大量资源和研究来应对这一挑战，并鼓励优秀的研究人员和工程师加入。然而，术语从AGI到超级智能的转变是否会对围绕人工智能的风险和收益的持续辩论产生深远影响，还有待观察。

　　OpenAI强调了超级智能的潜力，这可能是有史以来最具影响力的技术，能够解决重大的全球问题。然而，其也承认与超级智能相关的巨大风险，包括人类被剥夺权力甚至灭绝。

　　虽然超级智能看起来很遥远，但OpenAI认为其可能会在这十年内出现。管理这些风险将需要新的治理机构，并应对将超级智能与人类意图结合起来的挑战。有趣的是，OpenAI正在使用这个术语，而不是更传统的通用人工智能(AGI)。其理由如下:

　　“在这里，我们关注的是超级智能，而不是AGI，以强调更高的能力水平。在未来几年里，我们对这项技术的发展速度有很多不确定性，所以我们选择了更困难的目标，以校准一个更有能力的系统。目前的人工智能校准技术，如从人类反馈中强化学习，不足以控制潜在的超智能人工智能。人类无法可靠地监督比我们聪明得多的系统，现有的技术也无法扩展到超级智能。OpenAI强调需要科技突破来克服这些挑战。”

　　OpenAI的方法包括建立一个具有大致人类水平能力的自动校准研究员。大量的计算资源将被用来扩展其努力，并反复调整超级智能。关键步骤包括开发可扩展的训练方法，验证结果模型，以及对校准管道进行压力测试。根据OpenAI公告的标题，这个概念被称为超级智能联盟。

　　为了解决评估对人类具有挑战性的任务的困难，人工智能系统可以用于可扩展的监督。对无监督任务的监督的泛化，以及检测问题行为和内部的检测对于验证一致性至关重要。对抗性测试，包括训练错位模型，将有助于确认校准技术的有效性。

　　OpenAI预计，随着对这个问题的了解越来越多，其研究重点将会不断发展，其计划在未来分享自己的路线图。OpenAI组建了一个由顶尖机器学习研究人员和工程师组成的团队，致力于解决超级智能校准问题。OpenAI将在未来四年内将其20%的安全计算投入到这项工作中。

　　虽然不能保证成功，但OpenAI仍然乐观地认为，集中一致的努力可以解决这个问题。其目标是提供证据和论据，让机器学习和安全社区相信问题已经解决。其正在积极与跨学科专家合作，考虑更广泛的人类和社会问题。

　　OpenAI鼓励优秀的研究人员和工程师，即使是那些以前没有从事校准工作的人，加入其工作。OpenAI认为超级智能校准是最重要的未解决技术问题之一，并认为这是一个可操作的机器学习问题，具有潜在的重大贡献。

　　在关于人工智能、AGI以及从效用到人类毁灭等复杂的相互关联问题的激烈辩论中，似乎出现了新的分歧。现在，词汇已经发生了一些变化，但这是科学还是语义还有待观察。