正在阅读:

元宇宙和大模型都离不开NVIDIA

扫一扫下载界面新闻APP

元宇宙和大模型都离不开NVIDIA

万亿市值坚持只做基础建设。

文|MetaPost

2019年,NVIDIA Omniverse上线;2021年,Omniverse Enterprise正式发布;2022年,Omniverse Cloud云平台发布,使得Omniverse具备了更多云属性;同年,NVIDIA OVX系统发布,带来了经过专门优化的硬件计算平台。

与此同时,NVIDIA在元宇宙的布局逐渐清晰,NVIDIA希望利用自身在图形计算以及AI、GPU等技术得天独厚的优势,为各个行业的企业提供全栈式解决方案,从而对生产质量和效率带来实质性的改善。

其实早在元宇宙概念走进大众视野之前,NVIDIA就已经着手于相关技术的开发及储备。在深刻洞察各个行业对于虚拟世界和数字孪生的需求后,NVIDIA对此进行了针对性研发。在其不断迭代自身解决方案的同时,众多大型企业纷纷通过Omniverse构建了自己的数字孪生或工业元宇宙。

随着全球对于元宇宙的热情不断高涨,也催化了这些技术成果快速从幕后走向台前。

MetaPost的读者对于Omniverse可能并不陌生,此前已多次介绍过。今天,我们再来详细聊聊元宇宙和数字孪生如何通过Omniverse落地,以及更多场景下的应用案例。

你以为NVIDIA只是靠着GPU飚进万亿市值?可不止。

01 为什么Omniverse是构建元宇宙的工具?

NVIDIA Omniverse是为了构建具有物理规则的虚拟世界而诞生的。通过Omniverse在虚拟世界中做AI训练,再反馈、帮助到现实世界;也可以模拟现实世界中的物理特性,为实际生产提升效率。

现在的互联网内容其实还是以图片、2D视频、文字为主。NVIDIA认为,在未来几年,互联网传输内容中将出现大量的3D内容,3D内容将为现有行业带来新的变革——而元宇宙就是互联网的3D内容演变。

在搞清楚Omniverse和元宇宙的关系前,我们先来搞清楚几个问题:

1、构建元宇宙,需要哪些元素?

1)开放的标准。既然是3D世界,自然会存在内容的交互问题,互联网时代是HTML,3D内容时代则需要新的数据交互传输格式。开放标准的文件会使用USD(通用场景描述),它本身就是一个开放的格式,越来越多的第三方软件已开始支持USD。

2)可扩展、可加速、时间精准的系统。只有可扩展的系统才能承载庞大的虚拟世界。元宇宙可不像游戏,使用一个沙盒就可以运行开放世界游戏,对于现实世界的模拟要宏大得多。

3) 遵循物理世界的实时仿真。仿真有很多,但目前能做到实时仿真的软件并不多。

4)AI。AI可以帮助我们生成大量相应的3D数字内容,在虚拟世界中进行相关的AI模型训练,再部署到现实世界。

而Omniverse具备了以上所有元素——由USD、可扩展性、认证的硬件平台,以及不断扩大的第三方生态系统组成。这也使得其成为构建元宇宙的绝佳工具。

2、 数字孪生也需要一些最基础的元素,它的要求又是什么?

1) 首先是虚拟数据集的单一实时来源。用过第三方软件,你就会发现,各种软件都有各自的格式,当汇总到同一个场景下,难免会出现数据丢失。比如当CAD的工程软件转换成MESH文件,有些文件会莫名其妙地消失,就是因为没有单一的实时来源。

2) 现实世界是遵循物理学的,虚拟世界自然也需要遵循。Omniverse平台利用Feedback技术可以实现这一点,并支持AI的训练和优化。精确计时、与现实世界完美同步。单一的物理世界实现跟世界时钟同步并不是最大的挑战,当OVX集群出现,多个OVX物理服务器横跨了如64代物理服务器,如何保证在渲染同一场景或不同场景下,时间还是完美同步的,才是最大的挑战。

基于NVIDIA最核心的几项技术:发展了20多年的RTX渲染技术,CUDA——最强的护城河,PhysX——在SDK开发了很多年,以及AI,NVIDIA将这些最基础的技术配合USD,铸造了Omniverse平台,并在上面开发了不同场景下的应用。

02 巨头纷纷布局元宇宙和数字孪生

Omniverse在工业元宇宙和数字孪生的应用,涵盖了汽车制造业、能源、交通运输、零售,以及科学技术研究、山火研究、气候研究等等。

1、宝马数字工厂

宝马集团在全球拥有31家工厂,40个不同车型的2100多种可能的车型配置,年产量达到250万辆,99%都是定制化生产,是全球最大的汽车定制制造公司之一。

在这样的规模下生产定制车辆,需要在整个制造过程拥有极高的灵活性和敏捷性。现在宝马集团已经实施了一套完整的端到端数字孪生工厂管理系统,将现实和虚拟现实、机器人技术,以及人工智能相结合。这套实时的数字孪生系统涉及NVIDIA的软硬件,利用Omniverse综合的数字孪生平台,在其全球生产网络中设计、训练、构建和仿真,以及最后部署运行工业的元宇宙应用,利用虚拟世界来优化整个工厂布局、机器人的开发和物流系统。

将不同工具、不同来源的数据汇集到大型的高性能模型,便可实现跨地区、多用户的实时协作。

例如,宝马集团需要定期重新配置生产线来适应新车型,以往物理生产线设计和配置需要根据新的配置停机停产,效率低下,各地规划团队也通常需要在同一地点进行设计及测试。随着电动车和混合动力车型的整合,使得这个过程变得更加复杂,因为增加了各种新的零部件和流程。但在数字孪生工厂中,不同地点的规划专家可以使用Omniverse平台进行实时测试和调整生产线设计,打破了时间、空间和人员规划上的限制。基于数字孪生实时内容驱动的布局和流程的评估,加快了整体实验和决策的过程,运行成本也大大降低。

2、零售:劳氏集团

劳氏集团是美国第二大家居装修零售集团,也开始利用数字孪生和人工智能进行零售门店的规划。不对店铺进行任何改变,便可测试和验证数千种产品的布局,通过Omniverse用以往无法实现的方式将店铺数据整合到一起。同时使店员和规划者能够实时协作,了解销售业绩,并识别异常情况。

数字孪生技术还可以捕获客户的购物数据,以便改善店铺的布局,提供更好的购物体验。

比如用Omniverse进行三维可视化模拟,将之前独立的数据整合起来,并挖掘它们之间的联系。同时,还可以模拟店铺的流量,作为AI模型的训练数据。通过现实的3D扫描设备,将实际的装修物料应用到虚拟的厨房或浴室中进行沉浸式体验。利用增强现实设备,可以看到销售业绩和客户流量,以及顾客的动线。

3、交通运输:德国铁路局

通过单一的真实数据源,数字孪生可以用于检测和实验整个铁路线网的网络,实现车辆和铁路的持续改进,最大程度地提高运行效率和速度,降低运营成本。

目前德国铁路局数字孪生的铁路线网已经覆盖5700座车站和33000公里的铁路线网。除了仿真之外,数字孪生系统还为训练完全自动化的铁路系统AI模型提供了很好的环境。

数字孪生基站可以与现实世界的火车和铁路连网进行同步。如果火车上的相机或激光雷达传感器检测到了潜在危险,其精确位置可以迅速传递给网络中的其它火车,防止发生碰撞或拥堵。如果站点AI计算机视觉相机注意到任何异常,也可以触发事件来通知工作人员。同时,智能传感器在现实世界和由Omniverse Replicator生成的合成数据组合上进行训练和优化,确保AI模型在任何情景下都能够感知、规划和运行。

4、仓储物流:亚马逊机器人

作为全球最大的电商平台之一,亚马逊拥有超过200个配送中心,每天要处理数千万个包裹,需要超过50万台移动机器人来支持整个仓库的物流系统运转。

亚马逊机器人也在利用NVIDIA Omniverse构筑仓储中心的数字中心,优化仓库的设计和流程,训练更加智能的机器人助手,以提高整体生产力。

在将各种不同的机器人深入到各种仓储中心之前,就可以通过数字孪生对各种软硬件的配置进行验证,避免真实系统的宕机失效,最大化整体运行效率。此外,数字孪生系统还可以生成不同形状、大小、重量的包裹来训练和检验自动分拣的效果。

亚马逊机器人管理了全球最大规模的移动机器人编队,以往无法将3D数据汇集到统一的管道和训练模型中,且没有足够精确的采集数据来支撑AI模型的训练和感知。通过数字孪生可以将多个不同CAD应用程序的数据集中到高保真度的仓储中心数字孪生系统中心,通过数字仿真了解整体仓库的性能优化、整体设计,通过合成数据的生成来提升感知模型的训练精度,从而缩短运行时间。

5 、能源:西门子集团

西门子能源在全球600多个回热锅炉的厂房检修管道腐蚀,如果能够将管道腐蚀厚度减小的宕机维修时间缩短10%,每年就可以节省约17亿美金。

预测整体的管道腐蚀情况,通常需要8周的计算时间,这是传统HPC高性能计算的运算时间。而通过数字孪生技术,包括Omniverse的数字仿真,以及Modulus数字物理模拟仿真,可以将整个管道腐蚀预测时间缩短到小时级别。

2022年NVIDIA宣布进一步扩展和西门子的合作伙伴关系,将西门子Xcelerator和NVIDIA的Omniverse平台连接起来,共同打造工业元宇宙。

西门子是工业自动化软件基础设施、建筑技术和交通领域的领先者,结合NVIDIA在加速图形和人工智能领域的成果,将为用户带来生产和产品全生命周期的效率、生产力以及流程等优化提升。

此外,NVIDIA还透露,一直都在积极推进和中国品牌的合作,国内几家知名车企已经进入到Omniverse的部署阶段。

03 未来数字孪生还将引入哪些新技术?

NVIDIA表示,首先增强现实、混合现实等技术。通过AR、MR等设备,可以让每个人沉浸式地体验数字孪生世界。

其次是生成式AI的引入。通过AI技术在数字孪生系统中,生成低成本、高效、高保真度、高精度的3D资产,将是未来的技术方向之一。

最后,基于大型语言模型的应用,也为可交付式元宇宙的应用提供支持,颠覆以往需要利用CAD软件或者编写代码、图形界面等操作,替换为通过自然语言的交互就可以完成数字孪生系统的生产或运行。

结语

不难看出,NVIDIA一直保持着自己的节奏,有条不紊地推进元宇宙的相关布局,不断完善着行业的基础建设。

NVIDIA表示,在人工智能、SDR深度学习等方面,其前期的CUDA语言建设其实早在2008年便已开始,“基础建设一定是要走在行业应用前面的。我们对元宇宙依然充满了热情和信心,还是会继续完善基础建设。未来相信整个生态都会群策群力,寻找到元宇宙真正能够创造价值的方式和落地的方向。”

而他们的关注点在于:连接,模拟仿真,对现实世界的运维、交互,以及数字世界和现实世界的运维、交互。NVIDIA的一切技术都围绕这些展开,然后去解决不同行业的痛点,“只要有痛点存在,就有需求和市场空间在,我们做的事情从未停下来。”

本文为转载内容,授权事宜请联系原著作权人。

英伟达

6.7k
  • 智己汽车、英伟达与Momenta将合作推出DRIVE AGX Thor芯片量产智驾解决方案
  • 美股三大指数集体收跌,纳指、标普500指数均创9月份以来最大单周跌幅

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

元宇宙和大模型都离不开NVIDIA

万亿市值坚持只做基础建设。

文|MetaPost

2019年,NVIDIA Omniverse上线;2021年,Omniverse Enterprise正式发布;2022年,Omniverse Cloud云平台发布,使得Omniverse具备了更多云属性;同年,NVIDIA OVX系统发布,带来了经过专门优化的硬件计算平台。

与此同时,NVIDIA在元宇宙的布局逐渐清晰,NVIDIA希望利用自身在图形计算以及AI、GPU等技术得天独厚的优势,为各个行业的企业提供全栈式解决方案,从而对生产质量和效率带来实质性的改善。

其实早在元宇宙概念走进大众视野之前,NVIDIA就已经着手于相关技术的开发及储备。在深刻洞察各个行业对于虚拟世界和数字孪生的需求后,NVIDIA对此进行了针对性研发。在其不断迭代自身解决方案的同时,众多大型企业纷纷通过Omniverse构建了自己的数字孪生或工业元宇宙。

随着全球对于元宇宙的热情不断高涨,也催化了这些技术成果快速从幕后走向台前。

MetaPost的读者对于Omniverse可能并不陌生,此前已多次介绍过。今天,我们再来详细聊聊元宇宙和数字孪生如何通过Omniverse落地,以及更多场景下的应用案例。

你以为NVIDIA只是靠着GPU飚进万亿市值?可不止。

01 为什么Omniverse是构建元宇宙的工具?

NVIDIA Omniverse是为了构建具有物理规则的虚拟世界而诞生的。通过Omniverse在虚拟世界中做AI训练,再反馈、帮助到现实世界;也可以模拟现实世界中的物理特性,为实际生产提升效率。

现在的互联网内容其实还是以图片、2D视频、文字为主。NVIDIA认为,在未来几年,互联网传输内容中将出现大量的3D内容,3D内容将为现有行业带来新的变革——而元宇宙就是互联网的3D内容演变。

在搞清楚Omniverse和元宇宙的关系前,我们先来搞清楚几个问题:

1、构建元宇宙,需要哪些元素?

1)开放的标准。既然是3D世界,自然会存在内容的交互问题,互联网时代是HTML,3D内容时代则需要新的数据交互传输格式。开放标准的文件会使用USD(通用场景描述),它本身就是一个开放的格式,越来越多的第三方软件已开始支持USD。

2)可扩展、可加速、时间精准的系统。只有可扩展的系统才能承载庞大的虚拟世界。元宇宙可不像游戏,使用一个沙盒就可以运行开放世界游戏,对于现实世界的模拟要宏大得多。

3) 遵循物理世界的实时仿真。仿真有很多,但目前能做到实时仿真的软件并不多。

4)AI。AI可以帮助我们生成大量相应的3D数字内容,在虚拟世界中进行相关的AI模型训练,再部署到现实世界。

而Omniverse具备了以上所有元素——由USD、可扩展性、认证的硬件平台,以及不断扩大的第三方生态系统组成。这也使得其成为构建元宇宙的绝佳工具。

2、 数字孪生也需要一些最基础的元素,它的要求又是什么?

1) 首先是虚拟数据集的单一实时来源。用过第三方软件,你就会发现,各种软件都有各自的格式,当汇总到同一个场景下,难免会出现数据丢失。比如当CAD的工程软件转换成MESH文件,有些文件会莫名其妙地消失,就是因为没有单一的实时来源。

2) 现实世界是遵循物理学的,虚拟世界自然也需要遵循。Omniverse平台利用Feedback技术可以实现这一点,并支持AI的训练和优化。精确计时、与现实世界完美同步。单一的物理世界实现跟世界时钟同步并不是最大的挑战,当OVX集群出现,多个OVX物理服务器横跨了如64代物理服务器,如何保证在渲染同一场景或不同场景下,时间还是完美同步的,才是最大的挑战。

基于NVIDIA最核心的几项技术:发展了20多年的RTX渲染技术,CUDA——最强的护城河,PhysX——在SDK开发了很多年,以及AI,NVIDIA将这些最基础的技术配合USD,铸造了Omniverse平台,并在上面开发了不同场景下的应用。

02 巨头纷纷布局元宇宙和数字孪生

Omniverse在工业元宇宙和数字孪生的应用,涵盖了汽车制造业、能源、交通运输、零售,以及科学技术研究、山火研究、气候研究等等。

1、宝马数字工厂

宝马集团在全球拥有31家工厂,40个不同车型的2100多种可能的车型配置,年产量达到250万辆,99%都是定制化生产,是全球最大的汽车定制制造公司之一。

在这样的规模下生产定制车辆,需要在整个制造过程拥有极高的灵活性和敏捷性。现在宝马集团已经实施了一套完整的端到端数字孪生工厂管理系统,将现实和虚拟现实、机器人技术,以及人工智能相结合。这套实时的数字孪生系统涉及NVIDIA的软硬件,利用Omniverse综合的数字孪生平台,在其全球生产网络中设计、训练、构建和仿真,以及最后部署运行工业的元宇宙应用,利用虚拟世界来优化整个工厂布局、机器人的开发和物流系统。

将不同工具、不同来源的数据汇集到大型的高性能模型,便可实现跨地区、多用户的实时协作。

例如,宝马集团需要定期重新配置生产线来适应新车型,以往物理生产线设计和配置需要根据新的配置停机停产,效率低下,各地规划团队也通常需要在同一地点进行设计及测试。随着电动车和混合动力车型的整合,使得这个过程变得更加复杂,因为增加了各种新的零部件和流程。但在数字孪生工厂中,不同地点的规划专家可以使用Omniverse平台进行实时测试和调整生产线设计,打破了时间、空间和人员规划上的限制。基于数字孪生实时内容驱动的布局和流程的评估,加快了整体实验和决策的过程,运行成本也大大降低。

2、零售:劳氏集团

劳氏集团是美国第二大家居装修零售集团,也开始利用数字孪生和人工智能进行零售门店的规划。不对店铺进行任何改变,便可测试和验证数千种产品的布局,通过Omniverse用以往无法实现的方式将店铺数据整合到一起。同时使店员和规划者能够实时协作,了解销售业绩,并识别异常情况。

数字孪生技术还可以捕获客户的购物数据,以便改善店铺的布局,提供更好的购物体验。

比如用Omniverse进行三维可视化模拟,将之前独立的数据整合起来,并挖掘它们之间的联系。同时,还可以模拟店铺的流量,作为AI模型的训练数据。通过现实的3D扫描设备,将实际的装修物料应用到虚拟的厨房或浴室中进行沉浸式体验。利用增强现实设备,可以看到销售业绩和客户流量,以及顾客的动线。

3、交通运输:德国铁路局

通过单一的真实数据源,数字孪生可以用于检测和实验整个铁路线网的网络,实现车辆和铁路的持续改进,最大程度地提高运行效率和速度,降低运营成本。

目前德国铁路局数字孪生的铁路线网已经覆盖5700座车站和33000公里的铁路线网。除了仿真之外,数字孪生系统还为训练完全自动化的铁路系统AI模型提供了很好的环境。

数字孪生基站可以与现实世界的火车和铁路连网进行同步。如果火车上的相机或激光雷达传感器检测到了潜在危险,其精确位置可以迅速传递给网络中的其它火车,防止发生碰撞或拥堵。如果站点AI计算机视觉相机注意到任何异常,也可以触发事件来通知工作人员。同时,智能传感器在现实世界和由Omniverse Replicator生成的合成数据组合上进行训练和优化,确保AI模型在任何情景下都能够感知、规划和运行。

4、仓储物流:亚马逊机器人

作为全球最大的电商平台之一,亚马逊拥有超过200个配送中心,每天要处理数千万个包裹,需要超过50万台移动机器人来支持整个仓库的物流系统运转。

亚马逊机器人也在利用NVIDIA Omniverse构筑仓储中心的数字中心,优化仓库的设计和流程,训练更加智能的机器人助手,以提高整体生产力。

在将各种不同的机器人深入到各种仓储中心之前,就可以通过数字孪生对各种软硬件的配置进行验证,避免真实系统的宕机失效,最大化整体运行效率。此外,数字孪生系统还可以生成不同形状、大小、重量的包裹来训练和检验自动分拣的效果。

亚马逊机器人管理了全球最大规模的移动机器人编队,以往无法将3D数据汇集到统一的管道和训练模型中,且没有足够精确的采集数据来支撑AI模型的训练和感知。通过数字孪生可以将多个不同CAD应用程序的数据集中到高保真度的仓储中心数字孪生系统中心,通过数字仿真了解整体仓库的性能优化、整体设计,通过合成数据的生成来提升感知模型的训练精度,从而缩短运行时间。

5 、能源:西门子集团

西门子能源在全球600多个回热锅炉的厂房检修管道腐蚀,如果能够将管道腐蚀厚度减小的宕机维修时间缩短10%,每年就可以节省约17亿美金。

预测整体的管道腐蚀情况,通常需要8周的计算时间,这是传统HPC高性能计算的运算时间。而通过数字孪生技术,包括Omniverse的数字仿真,以及Modulus数字物理模拟仿真,可以将整个管道腐蚀预测时间缩短到小时级别。

2022年NVIDIA宣布进一步扩展和西门子的合作伙伴关系,将西门子Xcelerator和NVIDIA的Omniverse平台连接起来,共同打造工业元宇宙。

西门子是工业自动化软件基础设施、建筑技术和交通领域的领先者,结合NVIDIA在加速图形和人工智能领域的成果,将为用户带来生产和产品全生命周期的效率、生产力以及流程等优化提升。

此外,NVIDIA还透露,一直都在积极推进和中国品牌的合作,国内几家知名车企已经进入到Omniverse的部署阶段。

03 未来数字孪生还将引入哪些新技术?

NVIDIA表示,首先增强现实、混合现实等技术。通过AR、MR等设备,可以让每个人沉浸式地体验数字孪生世界。

其次是生成式AI的引入。通过AI技术在数字孪生系统中,生成低成本、高效、高保真度、高精度的3D资产,将是未来的技术方向之一。

最后,基于大型语言模型的应用,也为可交付式元宇宙的应用提供支持,颠覆以往需要利用CAD软件或者编写代码、图形界面等操作,替换为通过自然语言的交互就可以完成数字孪生系统的生产或运行。

结语

不难看出,NVIDIA一直保持着自己的节奏,有条不紊地推进元宇宙的相关布局,不断完善着行业的基础建设。

NVIDIA表示,在人工智能、SDR深度学习等方面,其前期的CUDA语言建设其实早在2008年便已开始,“基础建设一定是要走在行业应用前面的。我们对元宇宙依然充满了热情和信心,还是会继续完善基础建设。未来相信整个生态都会群策群力,寻找到元宇宙真正能够创造价值的方式和落地的方向。”

而他们的关注点在于:连接,模拟仿真,对现实世界的运维、交互,以及数字世界和现实世界的运维、交互。NVIDIA的一切技术都围绕这些展开,然后去解决不同行业的痛点,“只要有痛点存在,就有需求和市场空间在,我们做的事情从未停下来。”

本文为转载内容,授权事宜请联系原著作权人。