文｜巴比特资讯  

你还在感叹生成式AI 带来的革命性改变？感叹 GPT-4 的强大？还在猜测 GPT-5 会有哪些新功能？OpenAI 已经看到了更远的地方，而且已经在行动。

OpenAI团队昨天发布了他们的最新动向，成立了一个新团队 Superalignment，由 Ilya Sutskever（OpenAI 联合创始人兼首席科学家）和 Jan Leike（对齐负责人）共同领导。这是一个关于超级智能（Superintelligence）的团队，专注于超级智能对齐问题研究。OpenAI 声称将在未来四年内将 20% 的计算资源用于解决超级智能对齐问题，足以见得 OpenAI 的重视程度。

什么是超级智能（Superintelligence）？

超级智能是指一种拥有超越人类智能的智能系统，它不仅仅是简单的计算机程序，而是一个智能体，具有认知能力、情感能力、自我意识和意图等特征，能够独立思考、判断和决策，甚至在一定程度上能够超越人类的智能。超级智能的概念是相对于目前的人工智能系统而言的，它是指一种更加先进的人工智能，能够在更广泛的领域和复杂环境中应用。

目前，超级智能仍然是一个理论上的概念，尚未被实现。实现超级智能需要解决许多技术上的问题，包括机器学习、自然语言处理、计算机视觉、推理和决策等方面的挑战。另外，超级智能的出现也会带来许多伦理、社会和政治等方面的问题，如超级智能的控制权、安全和隐私等问题。

超级智能是一种令人兴奋和引人注目的概念，因为它能够在各个领域产生各种重要的应用，比如医疗诊断、新药研发、智能交通、自动化生产和安全防御等。同时，超级智能也具备一些风险和挑战，如果失去控制，可能会对人类带来巨大的威胁。

实现超级智能需要解决许多技术上的问题。其中最重要的问题之一是如何让智能系统拥有自主学习的能力，即不断从数据和经验中学习新知识和技能，从而不断提高自己的智能水平。同时，超级智能还需要具备强大的推理、决策和创新能力，能够自主思考和解决各种复杂问题。

“当我们接近超级智能时”，我们需要更多地考虑人工智能的存在风险。——扎克伯格

超级智能将在十年内成为现实？至少 OpenAI 如此认为

OpenAI认为，超级智能将是人类发明的最具影响力的技术，可以帮助我们解决世界上许多最重要的问题。 但超级智能的巨大力量也可能非常危险，并可能导致人类丧失权力，甚至导致人类灭绝。虽然超级智能现在看来还很遥远，但我们相信它可能在十年内实现。

如何解决超级智能存在的风险？

超级智能虽然能量巨大，但风险同样巨大。OpenAI表示，管理这些风险将需要新的治理机构并解决超级智能协调的问题，即如何确保人工智能系统比人类聪明得多但同时还能遵循人类意图？

OpenAI并没有给出答案，他们认为人类目前无法可靠地监督那些比人类还聪明的人工智能系统，当前的对齐技术无法扩展到超级智能，因此需要寻求新的科学技术突破。

不过，OpenAI解决超级智能对齐问题的路径已经很明确，即建立一个大致达到人类水平的自动对齐研究员，提高人工智能系统从人类反馈中学习并协助人类评估人工智能的能力。 目标是建立一个足够对齐的人工智能系统，可以帮助我们解决所有其他对齐问题。

在去年，OpenAI 已经发布一篇阐明他们关于对齐研究路线的博文：

https://openai.com/blog/our-approach-to-alignment-research

OpenAI 的新团队 Superalignment 这个团队将由顶尖机器学习研究人员和工程师组成的团队，目标是在四年内解决超级智能对齐的核心技术挑战，包括开发新方法到扩大规模再到部署。

OpenAI首席科学家 Ilya Sutskever已经将超级智能对齐问题作为核心研究重点。超级智能对齐从根本上来说是一个机器学习问题，OpenAI 正在招募优秀的机器学习专家。

参考资料：https://openai.com/blog/introducing-superalignment