正在阅读:

如何监测通用大模型的安全水位?多位专家支招

扫一扫下载界面新闻APP

如何监测通用大模型的安全水位?多位专家支招

如何动态、持续地监测通用大模型的安全水位,是学界、企业界、政府部门必须共同面对的重大挑战。

图片来源:图虫创意

界面新闻记者 | 黄景源

界面新闻编辑 | 彭朋

截至2023年底,国内已完成备案的生成式人工智能服务达60余款。人工智能大模型在解放生产力、提高生产效率的同时也带来了一系列问题,例如隐私信息泄漏、版权归属纠纷、内容真实性与合规性等,如何应对随之而来的安全、治理问题?

9月9日,2024年国家网络安全宣传周上海地区活动拉开帷幕,在当日举行的主论坛现场,教育部长江学者、复旦大学计算机科学技术学院院长杨珉围绕“AI大模型安全评测与治理”,介绍了人工智能系统安全治理领域的研究成果。

杨珉指出,ChatGPT等通用大模型正成为大家日常生活中频繁使用的工具,并逐步向具身智能体进化,在可预见的将来会出现AI社会,很多人工智能体会互相影响、协同工作。这种技术演变的趋势背后,大模型生成内容的安全风险会逐渐外溢,进而形成物理世界的风险,如何动态、持续地监测通用大模型的安全水位,是学界、企业界、政府部门必须共同面对的重大挑战。

“当前的安全技术远远滞后于的AI技术发展的整体速度。”杨珉表示,其中一个技术是基于个人的技巧发现安全问题,即诱导问题,它的特点是自动化程度低、成本高昂。杨珉及团队一直深耕于此,希望寻找到一个通用的普适性的测试集,客观地检视当前大模型的安全合规能力。目前部分技术已在百度、阿里、华为落地应用。

此外,杨珉团队还利用语言学中“转换生成语法”的原理,建设了评测自动化、测试覆盖率高和风险发现能力强的测评平台。基于此,杨珉带领团队在今年6月发布第一代测试集,测试的维度包含了歧视性内容、商业违法违规、侵犯他人权益以及内容不准确不科学等31个子类。

杨珉表示, 未来将持续公布这种动态的测评结果,呈现产业之间在能力上的差异性,希望能助力整个行业生态的健康发展。

上海人工智能实验室综合管理部、AI治理负责人王迎春总结指出,大模型的安全问题包括国家安全、行业安全、社会安全以及人工智能可控性等极端风险。应对路径一是治理政策和规则,二是测评等技术路径。

《人工智能安全治理框架》1.0版指出,人工智能系统设计、研发、训练、测试、部署、使用、维护等生命周期各环节都面临安全风险,既面临自身技术缺陷、不足带来的风险,也面临不当使用、滥用甚至恶意利用带来的安全风险。

例如,以深度学习为代表的人工智能算法内部运行逻辑复杂,推理过程属黑灰盒模式,可能导致输出结果难以预测和确切归因,如有异常难以快速修正和溯源追责。

王迎春指出,随着模型能力的提升,执行的任务更加复杂,对其的监督能力已非人力能及,需要开发出更多新的技术,将监督信号设计到模型当中,其中就包括上述自动化红队测试等。

他预言,下一代的大模型发展应该是数字和物理融合的模型,会带来新的安全风险问题,需要提前进行技术储备,甚至在研发模型当中就要做技术的研究。王迎春认为,国内对于大模型安全的应对比较零散,不体系化,政府要构建人工智能安全技术体系图,有助于有关部门包括企业布局相应技术研究,例如模型评测技术、模型内生安全技术等。

事实上,针对模型算法安全、数据安全和系统安全等内生安全风险和网络域、现实域、认知域、伦理域等应用安全风险,刚刚发布的《人工智能安全治理框架》1.0版提出相应技术应对和综合防治措施,以及人工智能安全开发应用指引,为促进人工智能健康发展和规范应用,提供了基础性、框架性技术指南。

针对模型算法、训练数据、算力设施、产品服务、应用场景,上述框架提出通过安全软件开发、数据质量提升、安全建设运维、测评监测加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性人工智能安全治理框架的措施。

未经正式授权严禁转载本文,侵权必究。

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

如何监测通用大模型的安全水位?多位专家支招

如何动态、持续地监测通用大模型的安全水位,是学界、企业界、政府部门必须共同面对的重大挑战。

图片来源:图虫创意

界面新闻记者 | 黄景源

界面新闻编辑 | 彭朋

截至2023年底,国内已完成备案的生成式人工智能服务达60余款。人工智能大模型在解放生产力、提高生产效率的同时也带来了一系列问题,例如隐私信息泄漏、版权归属纠纷、内容真实性与合规性等,如何应对随之而来的安全、治理问题?

9月9日,2024年国家网络安全宣传周上海地区活动拉开帷幕,在当日举行的主论坛现场,教育部长江学者、复旦大学计算机科学技术学院院长杨珉围绕“AI大模型安全评测与治理”,介绍了人工智能系统安全治理领域的研究成果。

杨珉指出,ChatGPT等通用大模型正成为大家日常生活中频繁使用的工具,并逐步向具身智能体进化,在可预见的将来会出现AI社会,很多人工智能体会互相影响、协同工作。这种技术演变的趋势背后,大模型生成内容的安全风险会逐渐外溢,进而形成物理世界的风险,如何动态、持续地监测通用大模型的安全水位,是学界、企业界、政府部门必须共同面对的重大挑战。

“当前的安全技术远远滞后于的AI技术发展的整体速度。”杨珉表示,其中一个技术是基于个人的技巧发现安全问题,即诱导问题,它的特点是自动化程度低、成本高昂。杨珉及团队一直深耕于此,希望寻找到一个通用的普适性的测试集,客观地检视当前大模型的安全合规能力。目前部分技术已在百度、阿里、华为落地应用。

此外,杨珉团队还利用语言学中“转换生成语法”的原理,建设了评测自动化、测试覆盖率高和风险发现能力强的测评平台。基于此,杨珉带领团队在今年6月发布第一代测试集,测试的维度包含了歧视性内容、商业违法违规、侵犯他人权益以及内容不准确不科学等31个子类。

杨珉表示, 未来将持续公布这种动态的测评结果,呈现产业之间在能力上的差异性,希望能助力整个行业生态的健康发展。

上海人工智能实验室综合管理部、AI治理负责人王迎春总结指出,大模型的安全问题包括国家安全、行业安全、社会安全以及人工智能可控性等极端风险。应对路径一是治理政策和规则,二是测评等技术路径。

《人工智能安全治理框架》1.0版指出,人工智能系统设计、研发、训练、测试、部署、使用、维护等生命周期各环节都面临安全风险,既面临自身技术缺陷、不足带来的风险,也面临不当使用、滥用甚至恶意利用带来的安全风险。

例如,以深度学习为代表的人工智能算法内部运行逻辑复杂,推理过程属黑灰盒模式,可能导致输出结果难以预测和确切归因,如有异常难以快速修正和溯源追责。

王迎春指出,随着模型能力的提升,执行的任务更加复杂,对其的监督能力已非人力能及,需要开发出更多新的技术,将监督信号设计到模型当中,其中就包括上述自动化红队测试等。

他预言,下一代的大模型发展应该是数字和物理融合的模型,会带来新的安全风险问题,需要提前进行技术储备,甚至在研发模型当中就要做技术的研究。王迎春认为,国内对于大模型安全的应对比较零散,不体系化,政府要构建人工智能安全技术体系图,有助于有关部门包括企业布局相应技术研究,例如模型评测技术、模型内生安全技术等。

事实上,针对模型算法安全、数据安全和系统安全等内生安全风险和网络域、现实域、认知域、伦理域等应用安全风险,刚刚发布的《人工智能安全治理框架》1.0版提出相应技术应对和综合防治措施,以及人工智能安全开发应用指引,为促进人工智能健康发展和规范应用,提供了基础性、框架性技术指南。

针对模型算法、训练数据、算力设施、产品服务、应用场景,上述框架提出通过安全软件开发、数据质量提升、安全建设运维、测评监测加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性人工智能安全治理框架的措施。

未经正式授权严禁转载本文,侵权必究。