ꄴ前一个： 无
ꄲ后一个： 无

苹果Vision Pro催熟XR交互

创建时间：2023-10-27 09:30
XR交互方式的迭代进程


文/VR陀螺 元桥


为了让XR设备的控制器更加贴近自然，业内做过很多种尝试，像Meta前几年曾公布的触觉手套，索尼近期公布的游戏手套，还有绑在手腕上的控制器，外挂气味套件等等。

只是由于大多数交互方式的尝试很难落地，搞了好几年仍是概念产品。目前，XR交互仍以头部和手部的6DoF追踪定位为主，未来XR的交互的重点仍将以手部以及头部为主，只是围绕的中心正在发生变化。

2023年6月，苹果发布其初代MR头显，摒弃了手柄，采用了以语音+手势+面部/眼睛追踪为主的更加自然的交互方式。为了更好理解XR交互方式的迭代，本文梳理了XR交互方式的迭代变化过程与趋势。




 VR交互发展的第一次冲锋 



1995年，任天堂发布了一款早期VR概念的便携式游戏机Virtual Boy，也算是VR交互发展的首次冲锋，当时各大媒体的报道都给予了这款产品很高的评价。

山内溥更是在1995年Q1的股东大会上欣然允诺：“Virtual Boy将在发售的第一财年里出货500万台，为任天堂带来800亿日元的利润。”然而Virtual Boy发售不到半年就迅速走向了「死亡」，评价也是一落千丈。



任天堂自然是希望Virtual Boy能成为它弯道超车的机会，一举抢占新赛道。但从Virtual Boy的形态来看，想做到这一点很难。一款可被消费者持续购买的产品，交互方式必然很重要。当时由于技术的受限，Virtual Boy很难被携带使用，同时采用单色液晶屏的技术，整个画面都是红色的，像极了惊悚片。


Virtual Boy 游戏《马力欧网球》的模拟器演示画面，实机画面表现与此相比还要差得多


而Virtual Boy的交互设计则以游戏手柄作为参考对象，造型看上去很奇怪，与现在的游戏手柄的设计相比，当时Virtual Boy没有X和Y按钮，有一个更大的握把，右侧还有一个额外的方向键。



由于头戴式会出现让人头晕的偏振现象，任天堂的解决方法是取消头戴式，给头显加个三脚架，让玩家自己的脑袋去适配游戏机，用起来大概是下面所展示的画面。据大多数玩家表示在玩游戏过程中会出现恶心、头晕以及眼睛非常不舒适的感觉。



虽然Virtual Boy给人带来了三维视觉的体验，但交互方式还是沿袭了游戏交互的设计，与VR设备的结合并不是很协调，这也是VR硬件早期发展过程中所体现出来的一个问题。

在VR硬件发展的早期阶段，交互方式都很单一，而且设备过重很难携带，同时还容易发热，这一系列的不佳体验都导致90年代的VR设备发展陷入停滞的局面。各大厂商们纷纷偃旗息鼓，坐等技术进一步发展。



 VR交互发展的多种尝试 



2012年左右，随着技术有进一步进展，VR热潮开始重启。

2012年Oculus创始人帕尔默·拉基发布了Oculus Rift原型机并筹集了240万美元，用于改进头显和跟踪软件。Oculus Rift的到来，让厂商们看到了VR的潜力。2014年，Facebook便以20亿美元收购了Oculus VR。


Oculus创始人帕尔默·拉基


Oculus Rift本身是一副虚拟现实护目镜，配有耳机，可连接到游戏PC或笔记本电脑，只是Oculus Rift可以通过红外传感器追踪头部运动，并且还可以通过Oculus Touch控制器跟踪有限的手部动作。Oculus Touch控制器具有按钮和模拟摇杆，能够与其他支持PC的游戏控制器兼容。

通过Oculus Rift，人们惊讶地发现VR设备相比之前已经有了很大的改进，在交互环节上虽然缺失手动跟踪控制器，无法完成复杂的游戏，但是可以满足浏览视频，三维观看的需求，同时期无手柄设计的设备还有谷歌VR盒子、三星Gear。


Oculus Rift


2014年谷歌发布VR盒子——Cardboard，一种廉价的简易头戴式装置，其图像质量并无法与Oculus Rift相媲美，但造价与体验成本很低，用户只需要在手机上下载好软件，并将手机放入Cardboard纸盒即可体验三维视频，降低了普通人踏入VR的门槛。


谷歌VR盒子——Cardboard


2015年三星发布Gear，三星Gear也不能独立工作，仍需要连接手机。设备会自动检测，一旦连上手机，会自动变成VR模式，让屏幕分屏显示VR内容。但三星Gear VR并不只是一个和谷歌纸盒一样的简单的设计，其自带加速计、陀螺仪和重力传感器，能够帮助减少屏幕延时，提供更好的体验。



同时，虽然三星Gear也无手柄，但三星Gear在眼镜的右侧设有内凹十字的触控板和功能性的按键，所有的使用操作都通过触控板和按键实现。中间的圆点为确认键，触控板上独立设有一颗返回键。

也就是说在操作环节上，三星Gear又更进了一步，即使不看设备，滑动设备边上的触摸板也可以进行盲操作，而在玩一些游戏时也可连接蓝牙手柄。

2012年-2016年期间VR设备的交互设计已经逐步转向人性化的设计，虽然这时候VR还不能作为独立的设备使用，VR设备的交互也无法完全满足用户需求，但却激发了人们对VR前景的期待。

2016年已经有不少硬件厂商推出了自己的VR硬件设备，分别有PC VR头显、VR一体机以及用于生产VR内容的全景相机设备等。

在交互技术迭代上，2016年之后的设备开始围绕手部与头部的追踪，在3DoF追踪定位的基础上升级到6DoF，增加手柄和头部的追踪意味着用户与VR设备的连接更加自由，体验也会更自然。具有代表性的产品有HTC Vive、 Valve、Quest系列、PICO Neo 3等。



6DoF即6自由度，在3DoF基础上再增加“上下、前后、左右”等3个位置相关的自由度。头部从3DoF只能检测到头部转动姿态到6DoF可以检测伸头缩头等姿态，而且还可以检测身体移动上下前后左右位移的变化。6DoF更加符合人体体验，更具沉浸感。



尤其是在VR游戏的体验中，复杂的VR游戏往往会需要玩家调动全身互动融入，6DoF可以做到360°的移动身体，如果是3DoF往往只能待在原地，主打观看。

如今6DoF+手柄追踪方案已经是VR设备的标配，也有部分厂商的设备已升级到裸手识别交互，但识别效果欠佳。各大厂商都在极力在6DoF的基础上不断增强VR交互能力，如360°环绕音效、眼动追踪等。整体来看，目前VR交互技术的成熟度仍有不足，离自然、便捷、拟真的交互体验还有一段距离。



 XR更自然交互方式的到来 



一直以来VR追寻自然交互技术的脚步一直未停，但由于成本与技术之间难以平衡，很多好的交互概念便一直停留在设想环节，因此VR手柄便是目前主流的交互方式。
但自苹果发布Vision Pro以来，业内看到了VR设备的创新交互被打开了一个窗口，VR交互方式可以更加接近自然，在VR手柄交互之外增加了诸多自然的辅助交互方式，如语音、手势、面部追踪以及全彩透视，这些交互方式或有望成为未来新的主流交互方式。

关于Vision Pro的交互解析可查看VR陀螺之前写过一篇分析文章《Vision Pro交互设计，苹果的阳谋》。


语音+手势+面部/眼动追踪，实现可见即可交互


语音识别在人工智能发展的趋势下不可或缺，并且是最快发展的一种交互方式，如语音识别交互已经从最初的语音搜索发展到智能家居、智能汽车等多领域。

而在苹果所演示的Vision Pro的应用中，语音交互已经展现了其辅助交互的潜力，通过语音可以唤醒或关闭APP以及发送信息等。在2023CIOE深圳光博会展览上，能看到诸多厂商都展示了增加语音识别技术的整机方案，尤其是在B端，语音识别起到了很大辅助作用。



今年，自ChatGPT爆发以来，大模型推动自然语言处理等后端环节更加成熟，为语音识别的应用场景提供了诸多可能性，据头豹预计2027年市场规模可突破450亿元。未来，语音识别交互趋势将进一步加强，推动XR交互不断升级。

VR手柄作为传统游戏手柄交互方式的一种延续，在XR交互过程中很难实现手势动作的连贯性，相当于用户只能通过手柄执行任务，双手自然就被束缚住了。而裸手交互作为有望取代VR手柄的一种交互方式，体验上更加接近人的自然状态。



面部/眼动追踪使用内部摄像头来感知用户眼睛和脸部某些部位的动作，再结合免校准的机器学习模型，头显可以将所看到的内容转化为可以驱动任何化身动画的输入，实现虚拟化身。



但眼动追踪的实现更难，2022年以来，能看到诸多XR设备都搭载了眼动追踪技术，如PS VR 2、Quest Pro以及PICO 4 Pro，但还是很难达到丝滑的地步。如果说语音+手势+面部/眼动追踪可以将人的身体自然调动，必然会成为人机交互最好的解决方案。

至于全彩透视虽然可以提供更加丰富的MR体验，但技术难度高。目前还无法做到通过人眼直接看到的真实世界，只能通过机器拍摄现实世界场景，经过系统处理之后投射在显示屏上的画面。只是作为实现MR的重要技术，或会打开基于MR版本的消费场景。据了解，已有内容上嗅到潜力，开始开发MR版本的游戏。



 结语 



2007年，乔纳森·卡普兰和艾瑞 ·布朗斯坦发明了一种简单的便携式摄像机Flip，在美国便携式摄像机市场上掀起了一股狂潮。与此同时，索尼和松下等公司为了抢占市场，忙着向自己的摄像机产品中增加一些高级功能，如添加好莱坞电影式字幕等视频特效。

但Flip摄像机却赢得了市场，出货直接上升百万台，而当时全美国市场的摄像机销量只有600万台。根本原因就在于Flip的交互设计极为简单，甩开了一切不必要的功能。没有连接线，只有9个键，甚至连软件驱动CD都没有——所有必需的软件都保存在摄像机内，Flip连上电脑就会自动载入。

虽然如今Flip已经退出历史舞台，但这个故事再度表明了人机的交互方式对于人的选择极为重要。反观XR设备，操作上的不方便一直被诟病，甚至已成为很多人弃用的一大理由之一。

未来XR的交互方式必然要往更加简单的方向发展，以简单的交互方式为重点反向挖掘应用场景，如搭载裸手交互的小游戏，只要游戏内容足够有趣，小游戏则更容易风靡市场；结合语音识别的应用工具，如语言学习、实时翻译等。




  第一时间了解XR资讯  
  关注VR陀螺官网（vrtuoluo.cn）

VR陀螺的联系方式：
商务合作 | 投稿 ：
西瓜（微信号 18659030320）
六六（微信号 13138755620）
寻求免费曝光：
六六（微信号 13138755620）
投稿邮箱：tougao@youxituoluo.com


推荐阅读

넶浏览量：0

推荐文章

  • RTX PRO 5000 开启专业桌面算力新时代，英伟达显卡总代宽恒科技赋能产业数字化升级

    生成式 AI 与工业三维仿真、影视渲染业务深度融合，专业工作站硬件迎来一轮更新浪潮，企业对于桌面端硬件不再只看重图形渲染能力，同时要求强大本地 AI 算力、超大显存、长时间高负载运行稳定性。基于 Blackwell 架构的 RTX PRO 5000 专业显卡正式登场，兼顾高性能图形渲染与本地大模型运行能力，成为工业设计、数字内容创作、科研计算领域的主力硬件产品。宽恒科技作为英伟达专业显卡授权总代，依托完整渠道资源与技术服务能力，推动 RTX PRO 5000 在国内各行各业落地。

    넶0 2026-09-03

  • NVIDIA DGX Spark 重塑本地 AI 生产力，宽恒科技推动桌面级超算多行业落地应用

    AI 产业发展格局正在发生显著变化，过去行业高度依赖大型云端算力集群开展 AI 研发，而近期 “云端大集群 + 本地私有化算力” 混合架构成为行业主流趋势，很多企业出于数据隐私、网络延迟、数据合规的考量，希望把 AI 研发、模型推理部署在本地环境。NVIDIA DGX Spark 桌面 AI 超算应运而生，把数据中心级的 AI 算力压缩到桌面终端形态，打破只有大型机房才能拥有高阶 AI 算力的固有认知。宽恒科技率先开展 DGX Spark 相关业务，面向高校、科研院所、企业研发部门提供整机供货、环境部署、技术运维全套服务，加速桌面超算在各行各业落地。

    넶0 2026-09-03

  • 混合现实技术迭代加速，解析 HTC VIVE Focus Vision 与 VIVE Cosmos 核心技术，宽恒科技助力行业 VR 落地

    空间计算、混合现实成为科技行业近期热点，VR 硬件加速向商用市场渗透，教育培训、工业仿真、数字展厅、远程协同等场景需求持续释放。HTC VIVE 作为消费与商用 VR 领域标杆品牌，VIVE Focus Vision、VIVE Cosmos 两款头戴设备分别代表不同时代的技术路线，前者是新一代高性能一体机，后者开创早期 inside‑out 追踪普及浪潮。宽恒科技深耕 XR 硬件方案服务，结合两款设备技术特性，面向不同行业输出 VR 整体落地服务，推动虚拟现实技术走进千行百业。

    넶0 2026-09-03

  • 深耕英伟达授权生态，NPN 伙伴体系与 NVIDIA AI Enterprise 价值解读，宽恒科技筑牢企业 AI 采购底座

    AI 商业化落地提速背景下，企业 AI 硬件与软件采购规模快速提升，市场渠道鱼龙混杂，无正规授权的硬件、缺失企业版软件授权的设备流入市场，给企业项目带来激活失败、无法固件升级、缺少原厂技术支持等各类风险，如何甄别正规英伟达合作伙伴，用好 NPN 伙伴网络与 NVIDIA AI Enterprise 软件能力，成为企业数字化转型的重要课题。宽恒科技作为英伟达 NPN 体系内精英级合作伙伴，打通硬件分销、软件授权、解决方案交付能力，为国内政企客户提供合规完整的英伟达生态服务。

    넶0 2026-09-03

  • 算力租赁浪潮来袭，英伟达 SuperPod 重构 AI 超算基建，宽恒科技解锁算力服务新路径

    近期全球 AI 算力市场持续热度走高，多家海外科技企业签署数百亿规模的长期算力框架协议，算力资产已经成为人工智能产业发展的核心战略资源，国内大模型企业、科研机构、科创企业算力需求持续释放，算力租赁凭借轻资产、弹性扩容的优势迎来高速增长周期。面对算力硬件交付周期拉长、自建超算投入成本高昂的现实痛点，软硬一体化的英伟达 SuperPod 方案，正在算力租赁赛道发挥越来越重要的价值，宽恒科技立足算力服务赛道，围绕 SuperPod 体系打造适配国内市场的算力租赁解决方案，助力各行业降低 AI 落地门槛。

    넶0 2026-09-03

  • NVIDIA DGX Spark：桌面级 AI 超算落地应用，宽恒科技加速本地 AI 智能体产业落地

    智能体、本地私有化大模型、具身智能成为 2026 年 AI 领域的热点方向，很多研发团队有本地运行大模型的诉求，不希望核心业务数据上传公有云端，保障数据隐私安全。传统大型 DGX 集群部署复杂、成本高昂，普通工作站性能不足以支撑大参数模型本地推理、微调。NVIDIA DGX Spark 作为桌面形态的 AI 超算，把 Blackwell 架构超级芯片、大容量统一内存、完整 AI 软件栈浓缩进桌面设备，兼顾强大算力与部署便捷性。宽恒科技围绕 DGX Spark 打造配套落地服务，助力科研机构、企业研发团队快速搭建本地 AI 开发环境，推动 AI 智能体、多模态应用、具身智能项目落地实践。

    넶6 2026-08-31