正在阅读:

OpenAI发布安全指南:管理层可决定发布新AI模型,但董事会也有权阻止

扫一扫下载界面新闻APP

OpenAI发布安全指南:管理层可决定发布新AI模型,但董事会也有权阻止

OpenAI在其官网发布了一份名为“准备框架”的安全指南。

图片来源:视觉中国

界面新闻记者 | 赵一帆

ChatGPT发布后AI技术快速发展,与之而来的则是对AI失控的担忧。全球监管机构都在抓紧制定管控AI风险的法规条款,OpenAI也发布了安全指南。

当地时间12月18日,OpenAI在其官网发布了一份名为“准备框架(Preparedness Framework)”的安全指南,以帮助跟踪、评估、预测和防范愈发强大的AI模型相关的风险。

值得注意的是,团队需要每月向一个新的内部安全咨询小组发送报告,该小组随后将对其进行分析,并向OpenAI首席执行官萨姆·奥尔特曼和董事会提交建议。奥尔特曼等公司领导层可以根据报告决定是否发布新的人工智能模型,但董事会也可以阻止其发布。

OpenAI解释称,对前沿人工智能风险的研究,远远没有达到相应的水平和需求。为了解决这一差距并使安全思维系统化,OpenAI正在采用“准备框架”的测试版本。 

在这份“准备框架”中,OpenAI提出了一系列方法,试图更安全地开发和部署前沿模型。

“准备团队”将针对四大问题持续测试并不断更新“记分卡”,主要包括网络安全问题、化学威胁、核威胁和生物威胁。在风险等级上,分为低、中、高或严重四个类级别,只有评级为“中”或以下级别的AI模型才能部署,只有评级为“高”或以下的模型,才能进一步开发。 

该团队是OpenAI建立的一个独立小组,以对技术工作和安全决策进行监督。该团队由麻省理工学院的可部署机器学习中心主任Aleksander Madry领导。OpenAI共有3个独立小组,此外还有负责如GPT-4邓产品的“安全系统”(safety systems)小组,以及关注未来可能诞生的强大人工智能的“超级对齐(superalignment)”小组。

此外,准备团队还将定期进行安全演习。OpenAI表示,这项工作从OpenAI外部人员中获得反馈,并由合格的独立第三方进行审核。OpenAI称将继续让其他人组成红队并评估我们的模型,并且计划与外部共享更新。  

同时,OpenAI将与外部各方以及安全系统等内部团队密切合作,以跟踪现实世界中的滥用情况。

上月OpenAI内部的“宫斗大战”吸引了全球的关注,作为OpenAI联合创始人之一的奥尔特曼曾一度离开公司。虽然最终得以重返并回归CEO一职,但当下“初始”董事会中仍没有他的位置。

未经正式授权严禁转载本文,侵权必究。

OpenAI

  • 帕兰泰尔和安杜里尔据悉与科技集团联手竞标五角大楼国防合同
  • OpenAI:正在测试推理模型o3和o3 mini

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

OpenAI发布安全指南:管理层可决定发布新AI模型,但董事会也有权阻止

OpenAI在其官网发布了一份名为“准备框架”的安全指南。

图片来源:视觉中国

界面新闻记者 | 赵一帆

ChatGPT发布后AI技术快速发展,与之而来的则是对AI失控的担忧。全球监管机构都在抓紧制定管控AI风险的法规条款,OpenAI也发布了安全指南。

当地时间12月18日,OpenAI在其官网发布了一份名为“准备框架(Preparedness Framework)”的安全指南,以帮助跟踪、评估、预测和防范愈发强大的AI模型相关的风险。

值得注意的是,团队需要每月向一个新的内部安全咨询小组发送报告,该小组随后将对其进行分析,并向OpenAI首席执行官萨姆·奥尔特曼和董事会提交建议。奥尔特曼等公司领导层可以根据报告决定是否发布新的人工智能模型,但董事会也可以阻止其发布。

OpenAI解释称,对前沿人工智能风险的研究,远远没有达到相应的水平和需求。为了解决这一差距并使安全思维系统化,OpenAI正在采用“准备框架”的测试版本。 

在这份“准备框架”中,OpenAI提出了一系列方法,试图更安全地开发和部署前沿模型。

“准备团队”将针对四大问题持续测试并不断更新“记分卡”,主要包括网络安全问题、化学威胁、核威胁和生物威胁。在风险等级上,分为低、中、高或严重四个类级别,只有评级为“中”或以下级别的AI模型才能部署,只有评级为“高”或以下的模型,才能进一步开发。 

该团队是OpenAI建立的一个独立小组,以对技术工作和安全决策进行监督。该团队由麻省理工学院的可部署机器学习中心主任Aleksander Madry领导。OpenAI共有3个独立小组,此外还有负责如GPT-4邓产品的“安全系统”(safety systems)小组,以及关注未来可能诞生的强大人工智能的“超级对齐(superalignment)”小组。

此外,准备团队还将定期进行安全演习。OpenAI表示,这项工作从OpenAI外部人员中获得反馈,并由合格的独立第三方进行审核。OpenAI称将继续让其他人组成红队并评估我们的模型,并且计划与外部共享更新。  

同时,OpenAI将与外部各方以及安全系统等内部团队密切合作,以跟踪现实世界中的滥用情况。

上月OpenAI内部的“宫斗大战”吸引了全球的关注,作为OpenAI联合创始人之一的奥尔特曼曾一度离开公司。虽然最终得以重返并回归CEO一职,但当下“初始”董事会中仍没有他的位置。

未经正式授权严禁转载本文,侵权必究。