正在阅读:

透过专利与收购,苹果到底要做什么样的AR/VR?

扫一扫下载界面新闻APP

透过专利与收购,苹果到底要做什么样的AR/VR?

再等6个月?

文|偲睿洞察 Emma

编辑|偲睿内容组

由于与性能和散热相关的开发问题,苹果AR/VR全程未在WWDC上留下存在感。

就在昨日,天风证券分析师郭明錤透露了一份更精确的时间表:

2023年1月,苹果将举行活动,宣布其传闻已久的混合现实头戴式设备;

2-4周内,为开发人员提供的工具将发货;

2023年Q2,设备预购启动,用户可在明年WWDC之前购买。

预测能否兑现,外界很难判断,毕竟此前计划在2021年发布的苹果AR/VR,已经不是第一次“鸽”了。

对于AR/VR,苹果一贯态度神秘。几乎在任何公开场合,你看不到官方对其研发进展的线索透露,只有库克5年来15次为AR站台,营造“AR狂热粉”人设,“希望AR在10年后彻底取代iPhone。”

然而,我们也许从苹果历年专利和收购案件中,勾勒出一幅苹果AR图景。

01 感知、交互、显示、应用,苹果通通要自研

要了解苹果AR/VR产品,不妨先看看它背后上千人的工程师团队阵容:

这里有苹果自己的高管——前软件团队项目高管Kim Vorrat,她于2019年7月调任AR部门,前苹果硬件工程主管 Dan Riccio,于2021年1月转任新职位,两位均负责管理并领导头戴设备项目推进;

有来自各科技公司的资深人士——副总裁Mike Rockwell来自杜比公司,此前是资深AR工程师,除此之外,你还能在团队中找到Oculus、亚马逊、Lytro、微软、3D 动画公司 Weta Digital 和 Lucasfilm 等公司的前员工;

还有很多著名的AR/VR和AI专家,包括但不限于:计算机科学教授Doug Bowman、前 Oculus研究科学家Yury Petrov、AR专家和前 NASA员工Jeff Norris、VR应用专家 Sterling Crispin等等。

总结来说,这是一支从硬到软、从技术理论到实践均齐备的豪华阵容。它大概率决定了苹果从底层感知交互,到上层显示、应用,通通自研的路径。

从2008年起,苹果就陆陆续续申请了不少AR/VR专利。根据知识产权综合信息服务提供商 IPRdaily新发布的数据,截止目前,苹果拥有1549件AR/VR相关专利。

感知与交互是苹果重点攻克的领域。

感知方面,早在2008年,相关专利显示,苹果设备能检测用户头部运动,并根据运动方向,进一步调整所显示的内容。它甚至能根据用户的座位、坐姿调整音效,给人以“在电影院观影时的沉浸式体验”。

再例如,一项类似护目镜的视频头戴式设备专利显示,其能自动与用户的眼睛对齐,提供视力矫正功能,并在用户眼前呈现出3D效果。

交互方面,眼部追踪、手势识别、触摸识别,苹果统统都掌握着核心技术。且最新的专利表明,苹果似乎想要将多种方式融合。

“一种通过眼球追踪和手势识别来实现的自然交互方案”显示,苹果设备能在你的手臂或手掌上叠加虚拟菜单,并配合眼球输入,或是特定的手势运动,实现与菜单的交互。

除了常见的交互方式,苹果还开了其他“脑洞”。其最新研究出一种“手指安装设备”,可佩戴在手指顶部,令指尖暴露在外。按压该设备,它会根据力度与方向,给予精准的触觉反馈。对此,苹果的形容是,“用手指轻敲桌面时在物理键盘上进行交互的感觉”

当然,光有酷炫的交互体验不够,一款AR/VR设备,还必须有足够清晰的增强现实显示效果。

苹果早期的技术聚焦于与其他设备的联动。iPhone、笔记本与头戴设备相连,可自动显示视频画面,还能在3D空间中放大画面,营造出一种“电影院般的巨幕效果”。

此后,更多的AR显示技术被开发出来。例如,2017年授权的专利中,苹果用传感器、摄像头等技术,检测、识别空间物体,并将虚拟信息覆盖在物体之上。这意味着,戴上设备,用户可对真实世界的物体提取关键信息,甚至做出标记。

2017年,iPhone 8发布,可对拍摄物体进行激光测距,并且能持续跟踪物体移动的轨迹。这正是苹果移动AR技术的体现。

有趣的是,6年前,Carplay还处于发展早期,苹果就幻想着将VR头戴式设备带上车。它设想了一幅在自动驾驶车上,人们能毫不眩晕地放松娱乐的场景:

佩戴上特制头戴设备,你将看到完全适配汽车前景速度的、真实世界与虚拟内容交融的画面,它还会配合“会动的座椅”,随着传感器侦查到的晕车迹象联动。苹果认为,这将有效消除眩晕感,帮助你在车上尽情工作、阅读、娱乐。

02 热衷于收购“小工具”

大多数时候,苹果发动AR/VR领域的收购,都不忘发布一则声明:“苹果公司不时收购小公司,我们通常不会讨论我们的目的或计划。”

这透露了两个信息:1. 苹果AR/VR“买买买”的节奏不间断。2. 苹果偏好收购掌握有一两个关键技术的AR/VR“小公司”。

密集的收购发生在2013年之后。这其中,少部分公司分布在成像、3D感知层。

2013年收购的一家总部位于以色列的3D人体感应公司PrimeSense,据彭博社报道,苹果花了3.5亿美元。核心“卖点”是3D运动跟踪技术,它能帮助创建物体或人的虚拟图像,并测量虚拟对象之间的距离。

不难看出,这与苹果自有的空间识别、激光测距等技术形成了联动与互补。

开发增强现实眼镜镜片的初创公司Akonia Holographics,于2018年被苹果收入麾下,它由一群全息科学专家创办,据当时的宣传报道,这家公司拥有“超清晰、全彩性能”的显示镜片,拥有“世界上最薄、最轻的头戴式显示器”。

无论效果是否能达到行业之“最”,冲着其200多项显示方面的专利,苹果的这笔收购也值了。

更多的收购分布在应用层,被苹果看上的公司,能提供“好用”又“好玩”的工具。

据偲睿咨询统计,光与面部识别有关的公司,苹果就买了至少3家。

Faceshift,最早诞生于瑞士洛桑联邦理工学院的一个实验室中,由一群学者将理论技术照进现实。其围绕“面部”的技术,可用于实时捕捉人的表情,并生成动画头像。在2015年8月,被苹果并购之前,它为诸如魔兽世界这样的大型网游打造“毫发”级的视觉效果,甚至还参与了《星球大战》的制作。

这之后1年半中,苹果相继收购了Emotient、RealFace两家公司,分别聚焦于面部表情分析与人脸识别。

这些面部技术,在Face ID和Animoji中大放异彩,也支撑着苹果AR/VR的3D成像效果。

除了对虚拟“脸”感兴趣,苹果也对虚拟“场景”有所涉足。

Metaio,2003年由大众的某个项目衍生出来的虚拟现实初创公司,其发明了一款增强现实创作工具Metaio Creator,可令用户几分钟内在iPad等设备上创建增强现实场景。2021年,在该公司被收购6年后,苹果技术开发团队的算法总监、前Metaio老板,为苹果发明了一项酷炫的AR/VR头显交互方案——它能将任何空间表面变成触摸屏,实现诸如“与电视界面互动”,或是“边散步边购买音乐会门票”的效果。

不容忽略的还有苹果在内容层的布局,一些内容开发商陆陆续续被苹果买回了家。

例如,NextVR是一家VR内容制作公司,它甚至吸引了中国公司的兴趣。据网易科技报道,2016年,该公司B轮融资中,网易和中信国安是最大的投资方。

2020年,NextVR被苹果收购时,已经参与了NBA总决赛、摇滚演唱会等多项大型活动,负责将内容做成VR效果直播或转播,并在Facebook、索尼、HTC等VR设备上搭载。

透过细细密密的专利与收购网络,苹果的策略已然十分清晰:一台AR/VR设备上,最关键的感知、交互、显示、应用等技术,由苹果自行研发,这决定了产品的性能底座。一些细小的“技能点”或上层应用,诸如3D跟踪、表情分析、内容制作,则通过收购慢慢补齐。

至此,AR/VR设备的各项技术基本配齐,只差一款前卫的设备登场。

03 下一个iPhone时刻or Mac时刻?

对于第一款AR/VR设备,苹果的态度小心翼翼。

它不是一款纯粹的AR或VR产品,而是兼而有之。据知情人士透露,苹果第一款头戴式设备将同时支持AR和VR功能,它将现实世界与虚拟内容融合在一起,创造出物理与数字对象交互的场景。这或许是苹果还未完全hold住纯粹的AR技术之前,一种“两全”之举。

它亦不是面向大众的产品。据彭博社的Mark Gurman称,第一代版本不会是Mac、iPhone 或iPad的替代品,而是专注于三个功能:游戏、媒体消费和通信。外界猜测,它定价大概在3000美元左右,非普通消费者所愿意承担。

关于这款产品的规格,相关细节已经被泄露很多,我们大致能勾勒出轮廓:

设计上,它将使用织物和轻质材料,一些特殊的技术将防止头显因面部动作移动,增加与个体的适配性。它重约300到400克,可能采用类似AirPods Pro这样的空间音频技术,提供类似环绕声的体验。

它将拥有堪称“豪华”的硬件配置——2个Mac 级处理器,一个高端主处理器采用M1 Pro芯片,另一个低端处理器用于管理设备传感器;2-3个显示器,预计由索尼提供,包含两个每英寸高达3000像素的微型OLED显示器,以及一个配置稍低的AMOLED显示屏;10多个光学摄像头,用于检测环境、生物识别与提供增强现实的显示效果。

交互方式上,它很可能将综合应用多种输入方法,如眼动追踪、手势识别、设备触控等,还可能配置语音控制和Siri命令等支持功能,以尽可能提供敏捷的反应。

预计苹果还会为其搭载“realityOS”新操作系统,同时创建属于AR/VR的APP Store,支持游戏、音乐、社交、通信等多款应用。

对于该产品的市场竞争力,天风证券郭明錤曾这样评价:

Apple AR头戴装置与竞争对手的最大差异是,(1) 具备Mac (PC) 等级的运算能力;(2) 可独立运作,不需依赖Mac (PC) 或iPhone (手机);(3) 支援广泛应用而非特定应用。

其运算力领先竞争对手的产品约2-3年。预计2024-2025年开始,苹果竞争对手的AR/VR/MR产品,也将具备PC/Mac等级的运算能力。

高性能配置、Mac级别运算力,但另一方面,不菲的定价、还未培育的“杀手级”应用,使得这款产品足够创新,但并不让人足够“兴奋”,达到 “颠覆”的级别。风险现实基金的VR投资者蒂帕特·钦纳瓦辛预计,苹果首款VR设备将面向专业设计师和开发人员,而这些人正是几十年前首次使用Mac的客户。他表示,“这不是iPhone时刻,而是Mac时刻。”

第一代AR/VR设备还在路上,第二代产品已经启动了研发。去年12月,苹果分析师郭明錤透露,苹果已经在开发其第二代 AR 头戴式设备,该头戴式设备将采用更轻的设计,采用新的电池系统和更快的处理器,预计于2024年推出。

这之后,郭明錤预计,2025年左右,苹果AR眼镜将推出。它看起来与雷朋旅行者或蒂姆·库克佩戴的眼镜相似,可容纳电池和芯片,作为iPhone配件销售。

更远的未来,2030-2040年,增强现实“隐形眼镜”将进入大众视野,它们也许会把电子产品从“可见计算”时代带入“不可见计算”时代。

属于苹果的AR/VR计划已经愈发细密,世界都在等待着一个“奇迹时刻”。

来源:偲睿洞察微信公众平台

原标题:透过专利与收购,苹果到底要做什么样的AR/VR?

本文为转载内容,授权事宜请联系原著作权人。

苹果

6.8k
  • 苹果公司因iCloud服务面临38亿美元反垄断指控
  • 苹果因第一代AirPods Pro存在声音问题遭诉讼

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

透过专利与收购,苹果到底要做什么样的AR/VR?

再等6个月?

文|偲睿洞察 Emma

编辑|偲睿内容组

由于与性能和散热相关的开发问题,苹果AR/VR全程未在WWDC上留下存在感。

就在昨日,天风证券分析师郭明錤透露了一份更精确的时间表:

2023年1月,苹果将举行活动,宣布其传闻已久的混合现实头戴式设备;

2-4周内,为开发人员提供的工具将发货;

2023年Q2,设备预购启动,用户可在明年WWDC之前购买。

预测能否兑现,外界很难判断,毕竟此前计划在2021年发布的苹果AR/VR,已经不是第一次“鸽”了。

对于AR/VR,苹果一贯态度神秘。几乎在任何公开场合,你看不到官方对其研发进展的线索透露,只有库克5年来15次为AR站台,营造“AR狂热粉”人设,“希望AR在10年后彻底取代iPhone。”

然而,我们也许从苹果历年专利和收购案件中,勾勒出一幅苹果AR图景。

01 感知、交互、显示、应用,苹果通通要自研

要了解苹果AR/VR产品,不妨先看看它背后上千人的工程师团队阵容:

这里有苹果自己的高管——前软件团队项目高管Kim Vorrat,她于2019年7月调任AR部门,前苹果硬件工程主管 Dan Riccio,于2021年1月转任新职位,两位均负责管理并领导头戴设备项目推进;

有来自各科技公司的资深人士——副总裁Mike Rockwell来自杜比公司,此前是资深AR工程师,除此之外,你还能在团队中找到Oculus、亚马逊、Lytro、微软、3D 动画公司 Weta Digital 和 Lucasfilm 等公司的前员工;

还有很多著名的AR/VR和AI专家,包括但不限于:计算机科学教授Doug Bowman、前 Oculus研究科学家Yury Petrov、AR专家和前 NASA员工Jeff Norris、VR应用专家 Sterling Crispin等等。

总结来说,这是一支从硬到软、从技术理论到实践均齐备的豪华阵容。它大概率决定了苹果从底层感知交互,到上层显示、应用,通通自研的路径。

从2008年起,苹果就陆陆续续申请了不少AR/VR专利。根据知识产权综合信息服务提供商 IPRdaily新发布的数据,截止目前,苹果拥有1549件AR/VR相关专利。

感知与交互是苹果重点攻克的领域。

感知方面,早在2008年,相关专利显示,苹果设备能检测用户头部运动,并根据运动方向,进一步调整所显示的内容。它甚至能根据用户的座位、坐姿调整音效,给人以“在电影院观影时的沉浸式体验”。

再例如,一项类似护目镜的视频头戴式设备专利显示,其能自动与用户的眼睛对齐,提供视力矫正功能,并在用户眼前呈现出3D效果。

交互方面,眼部追踪、手势识别、触摸识别,苹果统统都掌握着核心技术。且最新的专利表明,苹果似乎想要将多种方式融合。

“一种通过眼球追踪和手势识别来实现的自然交互方案”显示,苹果设备能在你的手臂或手掌上叠加虚拟菜单,并配合眼球输入,或是特定的手势运动,实现与菜单的交互。

除了常见的交互方式,苹果还开了其他“脑洞”。其最新研究出一种“手指安装设备”,可佩戴在手指顶部,令指尖暴露在外。按压该设备,它会根据力度与方向,给予精准的触觉反馈。对此,苹果的形容是,“用手指轻敲桌面时在物理键盘上进行交互的感觉”

当然,光有酷炫的交互体验不够,一款AR/VR设备,还必须有足够清晰的增强现实显示效果。

苹果早期的技术聚焦于与其他设备的联动。iPhone、笔记本与头戴设备相连,可自动显示视频画面,还能在3D空间中放大画面,营造出一种“电影院般的巨幕效果”。

此后,更多的AR显示技术被开发出来。例如,2017年授权的专利中,苹果用传感器、摄像头等技术,检测、识别空间物体,并将虚拟信息覆盖在物体之上。这意味着,戴上设备,用户可对真实世界的物体提取关键信息,甚至做出标记。

2017年,iPhone 8发布,可对拍摄物体进行激光测距,并且能持续跟踪物体移动的轨迹。这正是苹果移动AR技术的体现。

有趣的是,6年前,Carplay还处于发展早期,苹果就幻想着将VR头戴式设备带上车。它设想了一幅在自动驾驶车上,人们能毫不眩晕地放松娱乐的场景:

佩戴上特制头戴设备,你将看到完全适配汽车前景速度的、真实世界与虚拟内容交融的画面,它还会配合“会动的座椅”,随着传感器侦查到的晕车迹象联动。苹果认为,这将有效消除眩晕感,帮助你在车上尽情工作、阅读、娱乐。

02 热衷于收购“小工具”

大多数时候,苹果发动AR/VR领域的收购,都不忘发布一则声明:“苹果公司不时收购小公司,我们通常不会讨论我们的目的或计划。”

这透露了两个信息:1. 苹果AR/VR“买买买”的节奏不间断。2. 苹果偏好收购掌握有一两个关键技术的AR/VR“小公司”。

密集的收购发生在2013年之后。这其中,少部分公司分布在成像、3D感知层。

2013年收购的一家总部位于以色列的3D人体感应公司PrimeSense,据彭博社报道,苹果花了3.5亿美元。核心“卖点”是3D运动跟踪技术,它能帮助创建物体或人的虚拟图像,并测量虚拟对象之间的距离。

不难看出,这与苹果自有的空间识别、激光测距等技术形成了联动与互补。

开发增强现实眼镜镜片的初创公司Akonia Holographics,于2018年被苹果收入麾下,它由一群全息科学专家创办,据当时的宣传报道,这家公司拥有“超清晰、全彩性能”的显示镜片,拥有“世界上最薄、最轻的头戴式显示器”。

无论效果是否能达到行业之“最”,冲着其200多项显示方面的专利,苹果的这笔收购也值了。

更多的收购分布在应用层,被苹果看上的公司,能提供“好用”又“好玩”的工具。

据偲睿咨询统计,光与面部识别有关的公司,苹果就买了至少3家。

Faceshift,最早诞生于瑞士洛桑联邦理工学院的一个实验室中,由一群学者将理论技术照进现实。其围绕“面部”的技术,可用于实时捕捉人的表情,并生成动画头像。在2015年8月,被苹果并购之前,它为诸如魔兽世界这样的大型网游打造“毫发”级的视觉效果,甚至还参与了《星球大战》的制作。

这之后1年半中,苹果相继收购了Emotient、RealFace两家公司,分别聚焦于面部表情分析与人脸识别。

这些面部技术,在Face ID和Animoji中大放异彩,也支撑着苹果AR/VR的3D成像效果。

除了对虚拟“脸”感兴趣,苹果也对虚拟“场景”有所涉足。

Metaio,2003年由大众的某个项目衍生出来的虚拟现实初创公司,其发明了一款增强现实创作工具Metaio Creator,可令用户几分钟内在iPad等设备上创建增强现实场景。2021年,在该公司被收购6年后,苹果技术开发团队的算法总监、前Metaio老板,为苹果发明了一项酷炫的AR/VR头显交互方案——它能将任何空间表面变成触摸屏,实现诸如“与电视界面互动”,或是“边散步边购买音乐会门票”的效果。

不容忽略的还有苹果在内容层的布局,一些内容开发商陆陆续续被苹果买回了家。

例如,NextVR是一家VR内容制作公司,它甚至吸引了中国公司的兴趣。据网易科技报道,2016年,该公司B轮融资中,网易和中信国安是最大的投资方。

2020年,NextVR被苹果收购时,已经参与了NBA总决赛、摇滚演唱会等多项大型活动,负责将内容做成VR效果直播或转播,并在Facebook、索尼、HTC等VR设备上搭载。

透过细细密密的专利与收购网络,苹果的策略已然十分清晰:一台AR/VR设备上,最关键的感知、交互、显示、应用等技术,由苹果自行研发,这决定了产品的性能底座。一些细小的“技能点”或上层应用,诸如3D跟踪、表情分析、内容制作,则通过收购慢慢补齐。

至此,AR/VR设备的各项技术基本配齐,只差一款前卫的设备登场。

03 下一个iPhone时刻or Mac时刻?

对于第一款AR/VR设备,苹果的态度小心翼翼。

它不是一款纯粹的AR或VR产品,而是兼而有之。据知情人士透露,苹果第一款头戴式设备将同时支持AR和VR功能,它将现实世界与虚拟内容融合在一起,创造出物理与数字对象交互的场景。这或许是苹果还未完全hold住纯粹的AR技术之前,一种“两全”之举。

它亦不是面向大众的产品。据彭博社的Mark Gurman称,第一代版本不会是Mac、iPhone 或iPad的替代品,而是专注于三个功能:游戏、媒体消费和通信。外界猜测,它定价大概在3000美元左右,非普通消费者所愿意承担。

关于这款产品的规格,相关细节已经被泄露很多,我们大致能勾勒出轮廓:

设计上,它将使用织物和轻质材料,一些特殊的技术将防止头显因面部动作移动,增加与个体的适配性。它重约300到400克,可能采用类似AirPods Pro这样的空间音频技术,提供类似环绕声的体验。

它将拥有堪称“豪华”的硬件配置——2个Mac 级处理器,一个高端主处理器采用M1 Pro芯片,另一个低端处理器用于管理设备传感器;2-3个显示器,预计由索尼提供,包含两个每英寸高达3000像素的微型OLED显示器,以及一个配置稍低的AMOLED显示屏;10多个光学摄像头,用于检测环境、生物识别与提供增强现实的显示效果。

交互方式上,它很可能将综合应用多种输入方法,如眼动追踪、手势识别、设备触控等,还可能配置语音控制和Siri命令等支持功能,以尽可能提供敏捷的反应。

预计苹果还会为其搭载“realityOS”新操作系统,同时创建属于AR/VR的APP Store,支持游戏、音乐、社交、通信等多款应用。

对于该产品的市场竞争力,天风证券郭明錤曾这样评价:

Apple AR头戴装置与竞争对手的最大差异是,(1) 具备Mac (PC) 等级的运算能力;(2) 可独立运作,不需依赖Mac (PC) 或iPhone (手机);(3) 支援广泛应用而非特定应用。

其运算力领先竞争对手的产品约2-3年。预计2024-2025年开始,苹果竞争对手的AR/VR/MR产品,也将具备PC/Mac等级的运算能力。

高性能配置、Mac级别运算力,但另一方面,不菲的定价、还未培育的“杀手级”应用,使得这款产品足够创新,但并不让人足够“兴奋”,达到 “颠覆”的级别。风险现实基金的VR投资者蒂帕特·钦纳瓦辛预计,苹果首款VR设备将面向专业设计师和开发人员,而这些人正是几十年前首次使用Mac的客户。他表示,“这不是iPhone时刻,而是Mac时刻。”

第一代AR/VR设备还在路上,第二代产品已经启动了研发。去年12月,苹果分析师郭明錤透露,苹果已经在开发其第二代 AR 头戴式设备,该头戴式设备将采用更轻的设计,采用新的电池系统和更快的处理器,预计于2024年推出。

这之后,郭明錤预计,2025年左右,苹果AR眼镜将推出。它看起来与雷朋旅行者或蒂姆·库克佩戴的眼镜相似,可容纳电池和芯片,作为iPhone配件销售。

更远的未来,2030-2040年,增强现实“隐形眼镜”将进入大众视野,它们也许会把电子产品从“可见计算”时代带入“不可见计算”时代。

属于苹果的AR/VR计划已经愈发细密,世界都在等待着一个“奇迹时刻”。

来源:偲睿洞察微信公众平台

原标题:透过专利与收购,苹果到底要做什么样的AR/VR?

本文为转载内容,授权事宜请联系原著作权人。