ꄴ前一个： 无
ꄲ后一个： 无

苹果Vision Pro催熟XR交互

创建时间：2023-10-27 09:30
XR交互方式的迭代进程


文/VR陀螺 元桥


为了让XR设备的控制器更加贴近自然，业内做过很多种尝试，像Meta前几年曾公布的触觉手套，索尼近期公布的游戏手套，还有绑在手腕上的控制器，外挂气味套件等等。

只是由于大多数交互方式的尝试很难落地，搞了好几年仍是概念产品。目前，XR交互仍以头部和手部的6DoF追踪定位为主，未来XR的交互的重点仍将以手部以及头部为主，只是围绕的中心正在发生变化。

2023年6月，苹果发布其初代MR头显，摒弃了手柄，采用了以语音+手势+面部/眼睛追踪为主的更加自然的交互方式。为了更好理解XR交互方式的迭代，本文梳理了XR交互方式的迭代变化过程与趋势。




 VR交互发展的第一次冲锋 



1995年，任天堂发布了一款早期VR概念的便携式游戏机Virtual Boy，也算是VR交互发展的首次冲锋，当时各大媒体的报道都给予了这款产品很高的评价。

山内溥更是在1995年Q1的股东大会上欣然允诺：“Virtual Boy将在发售的第一财年里出货500万台，为任天堂带来800亿日元的利润。”然而Virtual Boy发售不到半年就迅速走向了「死亡」，评价也是一落千丈。



任天堂自然是希望Virtual Boy能成为它弯道超车的机会，一举抢占新赛道。但从Virtual Boy的形态来看，想做到这一点很难。一款可被消费者持续购买的产品，交互方式必然很重要。当时由于技术的受限，Virtual Boy很难被携带使用，同时采用单色液晶屏的技术，整个画面都是红色的，像极了惊悚片。


Virtual Boy 游戏《马力欧网球》的模拟器演示画面，实机画面表现与此相比还要差得多


而Virtual Boy的交互设计则以游戏手柄作为参考对象，造型看上去很奇怪，与现在的游戏手柄的设计相比，当时Virtual Boy没有X和Y按钮，有一个更大的握把，右侧还有一个额外的方向键。



由于头戴式会出现让人头晕的偏振现象，任天堂的解决方法是取消头戴式，给头显加个三脚架，让玩家自己的脑袋去适配游戏机，用起来大概是下面所展示的画面。据大多数玩家表示在玩游戏过程中会出现恶心、头晕以及眼睛非常不舒适的感觉。



虽然Virtual Boy给人带来了三维视觉的体验，但交互方式还是沿袭了游戏交互的设计，与VR设备的结合并不是很协调，这也是VR硬件早期发展过程中所体现出来的一个问题。

在VR硬件发展的早期阶段，交互方式都很单一，而且设备过重很难携带，同时还容易发热，这一系列的不佳体验都导致90年代的VR设备发展陷入停滞的局面。各大厂商们纷纷偃旗息鼓，坐等技术进一步发展。



 VR交互发展的多种尝试 



2012年左右，随着技术有进一步进展，VR热潮开始重启。

2012年Oculus创始人帕尔默·拉基发布了Oculus Rift原型机并筹集了240万美元，用于改进头显和跟踪软件。Oculus Rift的到来，让厂商们看到了VR的潜力。2014年，Facebook便以20亿美元收购了Oculus VR。


Oculus创始人帕尔默·拉基


Oculus Rift本身是一副虚拟现实护目镜，配有耳机，可连接到游戏PC或笔记本电脑，只是Oculus Rift可以通过红外传感器追踪头部运动，并且还可以通过Oculus Touch控制器跟踪有限的手部动作。Oculus Touch控制器具有按钮和模拟摇杆，能够与其他支持PC的游戏控制器兼容。

通过Oculus Rift，人们惊讶地发现VR设备相比之前已经有了很大的改进，在交互环节上虽然缺失手动跟踪控制器，无法完成复杂的游戏，但是可以满足浏览视频，三维观看的需求，同时期无手柄设计的设备还有谷歌VR盒子、三星Gear。


Oculus Rift


2014年谷歌发布VR盒子——Cardboard，一种廉价的简易头戴式装置，其图像质量并无法与Oculus Rift相媲美，但造价与体验成本很低，用户只需要在手机上下载好软件，并将手机放入Cardboard纸盒即可体验三维视频，降低了普通人踏入VR的门槛。


谷歌VR盒子——Cardboard


2015年三星发布Gear，三星Gear也不能独立工作，仍需要连接手机。设备会自动检测，一旦连上手机，会自动变成VR模式，让屏幕分屏显示VR内容。但三星Gear VR并不只是一个和谷歌纸盒一样的简单的设计，其自带加速计、陀螺仪和重力传感器，能够帮助减少屏幕延时，提供更好的体验。



同时，虽然三星Gear也无手柄，但三星Gear在眼镜的右侧设有内凹十字的触控板和功能性的按键，所有的使用操作都通过触控板和按键实现。中间的圆点为确认键，触控板上独立设有一颗返回键。

也就是说在操作环节上，三星Gear又更进了一步，即使不看设备，滑动设备边上的触摸板也可以进行盲操作，而在玩一些游戏时也可连接蓝牙手柄。

2012年-2016年期间VR设备的交互设计已经逐步转向人性化的设计，虽然这时候VR还不能作为独立的设备使用，VR设备的交互也无法完全满足用户需求，但却激发了人们对VR前景的期待。

2016年已经有不少硬件厂商推出了自己的VR硬件设备，分别有PC VR头显、VR一体机以及用于生产VR内容的全景相机设备等。

在交互技术迭代上，2016年之后的设备开始围绕手部与头部的追踪，在3DoF追踪定位的基础上升级到6DoF，增加手柄和头部的追踪意味着用户与VR设备的连接更加自由，体验也会更自然。具有代表性的产品有HTC Vive、 Valve、Quest系列、PICO Neo 3等。



6DoF即6自由度，在3DoF基础上再增加“上下、前后、左右”等3个位置相关的自由度。头部从3DoF只能检测到头部转动姿态到6DoF可以检测伸头缩头等姿态，而且还可以检测身体移动上下前后左右位移的变化。6DoF更加符合人体体验，更具沉浸感。



尤其是在VR游戏的体验中，复杂的VR游戏往往会需要玩家调动全身互动融入，6DoF可以做到360°的移动身体，如果是3DoF往往只能待在原地，主打观看。

如今6DoF+手柄追踪方案已经是VR设备的标配，也有部分厂商的设备已升级到裸手识别交互，但识别效果欠佳。各大厂商都在极力在6DoF的基础上不断增强VR交互能力，如360°环绕音效、眼动追踪等。整体来看，目前VR交互技术的成熟度仍有不足，离自然、便捷、拟真的交互体验还有一段距离。



 XR更自然交互方式的到来 



一直以来VR追寻自然交互技术的脚步一直未停，但由于成本与技术之间难以平衡，很多好的交互概念便一直停留在设想环节，因此VR手柄便是目前主流的交互方式。
但自苹果发布Vision Pro以来，业内看到了VR设备的创新交互被打开了一个窗口，VR交互方式可以更加接近自然，在VR手柄交互之外增加了诸多自然的辅助交互方式，如语音、手势、面部追踪以及全彩透视，这些交互方式或有望成为未来新的主流交互方式。

关于Vision Pro的交互解析可查看VR陀螺之前写过一篇分析文章《Vision Pro交互设计，苹果的阳谋》。


语音+手势+面部/眼动追踪，实现可见即可交互


语音识别在人工智能发展的趋势下不可或缺，并且是最快发展的一种交互方式，如语音识别交互已经从最初的语音搜索发展到智能家居、智能汽车等多领域。

而在苹果所演示的Vision Pro的应用中，语音交互已经展现了其辅助交互的潜力，通过语音可以唤醒或关闭APP以及发送信息等。在2023CIOE深圳光博会展览上，能看到诸多厂商都展示了增加语音识别技术的整机方案，尤其是在B端，语音识别起到了很大辅助作用。



今年，自ChatGPT爆发以来，大模型推动自然语言处理等后端环节更加成熟，为语音识别的应用场景提供了诸多可能性，据头豹预计2027年市场规模可突破450亿元。未来，语音识别交互趋势将进一步加强，推动XR交互不断升级。

VR手柄作为传统游戏手柄交互方式的一种延续，在XR交互过程中很难实现手势动作的连贯性，相当于用户只能通过手柄执行任务，双手自然就被束缚住了。而裸手交互作为有望取代VR手柄的一种交互方式，体验上更加接近人的自然状态。



面部/眼动追踪使用内部摄像头来感知用户眼睛和脸部某些部位的动作，再结合免校准的机器学习模型，头显可以将所看到的内容转化为可以驱动任何化身动画的输入，实现虚拟化身。



但眼动追踪的实现更难，2022年以来，能看到诸多XR设备都搭载了眼动追踪技术，如PS VR 2、Quest Pro以及PICO 4 Pro，但还是很难达到丝滑的地步。如果说语音+手势+面部/眼动追踪可以将人的身体自然调动，必然会成为人机交互最好的解决方案。

至于全彩透视虽然可以提供更加丰富的MR体验，但技术难度高。目前还无法做到通过人眼直接看到的真实世界，只能通过机器拍摄现实世界场景，经过系统处理之后投射在显示屏上的画面。只是作为实现MR的重要技术，或会打开基于MR版本的消费场景。据了解，已有内容上嗅到潜力，开始开发MR版本的游戏。



 结语 



2007年，乔纳森·卡普兰和艾瑞 ·布朗斯坦发明了一种简单的便携式摄像机Flip，在美国便携式摄像机市场上掀起了一股狂潮。与此同时，索尼和松下等公司为了抢占市场，忙着向自己的摄像机产品中增加一些高级功能，如添加好莱坞电影式字幕等视频特效。

但Flip摄像机却赢得了市场，出货直接上升百万台，而当时全美国市场的摄像机销量只有600万台。根本原因就在于Flip的交互设计极为简单，甩开了一切不必要的功能。没有连接线，只有9个键，甚至连软件驱动CD都没有——所有必需的软件都保存在摄像机内，Flip连上电脑就会自动载入。

虽然如今Flip已经退出历史舞台，但这个故事再度表明了人机的交互方式对于人的选择极为重要。反观XR设备，操作上的不方便一直被诟病，甚至已成为很多人弃用的一大理由之一。

未来XR的交互方式必然要往更加简单的方向发展，以简单的交互方式为重点反向挖掘应用场景，如搭载裸手交互的小游戏，只要游戏内容足够有趣，小游戏则更容易风靡市场；结合语音识别的应用工具，如语言学习、实时翻译等。




  第一时间了解XR资讯  
  关注VR陀螺官网（vrtuoluo.cn）

VR陀螺的联系方式：
商务合作 | 投稿 ：
西瓜（微信号 18659030320）
六六（微信号 13138755620）
寻求免费曝光：
六六（微信号 13138755620）
投稿邮箱：tougao@youxituoluo.com


推荐阅读

넶浏览量：0

推荐文章

  • 专业算力再进化：宽恒科技携手 RTX PRO 5000 Blackwell 深耕行业市场

    当 AI 从云端走向桌面，专业显卡正迎来新一轮黄金周期。今年春季 GTC 大会上，NVIDIA 正式发布 RTX PRO 5000 Blackwell 专业显卡，凭借 Blackwell 架构与 48GB/72GB 超高速 GDDR7 显存，一经亮相便成为工作站市场的焦点；10 月 20 日，高盛再度上调全球 AI 服务器出货预测，AI 算力需求的旺盛可见一斑 —— 而在个体与团队层面，越来越多设计师、工程师与 AI 开发者，正在把 "专业算力" 作为生产力的核心投资。专业显卡市场，正从幕后走向台前。

    넶0 2026-10-20

  • 桌面上的 AI 超算：宽恒科技解析 NVIDIA DGX Spark 的应用之道

    AI 算力的形态，正在发生一场 "下沉" 革命。10 月 2 日，NVIDIA 发布 DGX Spark 64GB，为开发者提供更多方式构建和扩展本地 AI；而在年初的 CES 2026 上，NVIDIA DGX Spark 驱动机器人 Reachy Mini 在展台与观众实时互动，把 "桌面级 AI 超算" 的想象力具象化。就在同一时期，全球首部面向智能体安全的强制性国家标准正式立项，AI 智能体从实验室走向生产环境已成定局。当智能体成为新的软件形态，一个现实问题浮出水面：海量的本地推理与智能体运行，是否都要依赖云端？NVIDIA DGX Spark 给出的答案是 —— 把 AI 超算放进桌面。

    넶0 2026-10-20

  • PICO 4 Ultra 与 PICO OS 6 共舞，宽恒科技带您进入空间计算新时代

    空间计算的浪潮，正从概念走向现实。2026 年下半年，PICO 接连放出重磅消息：面向开发者先行提供下一代操作系统 PICO OS 6，并预告代号 "Project Swan" 的新一代旗舰 XR 硬件将在全球发布，其超高精显示屏达到约 4000PPI 的量级，引发行业广泛关注。与此同时，PICO 4 Ultra 作为当前在售的主力 MR 一体机，凭借成熟的硬件与不断进化的软件生态，依然是大众体验空间计算的最佳入口之一。从娱乐到办公，从教育到行业应用，以 PICO 4 Ultra 为代表的 MR 设备，正在重新定义人与数字世界的交互方式。

    넶0 2026-10-20

  • 英伟达 NPN 生态扩容，宽恒科技深耕英伟达代理与合作伙伴服务

    英伟达的生态版图正在加速扩张。8 月 31 日，英伟达宣布与 MediaTek 深化长期合作，共同构建从边缘到云端的 AI 计算平台，MediaTek 将采用全新的 NVLink Fusion 平台，帮助客户将定制 XPU 引入机架级 AI 工厂；10 月 14 日，英伟达又携手应用材料、Cadence、KLA、Lam Research、西门子、新思科技等半导体领军企业，推动 AI 在芯片设计与制造全流程落地。一连串动作背后，是英伟达从 "卖芯片" 向 "卖生态" 的战略深化 —— 而承载这一战略的市场通道，正是不断升级的 NVIDIA Partner Network（NPN，英伟达合作伙伴网络）。

    넶0 2026-10-20

  • 算力租赁驶入快车道，宽恒科技以 GPU 集群与 AI 服务器构筑算力新基建

    刚刚过去的十月，算力市场再迎重磅消息。10 月 20 日，高盛大幅上调全球 AI 服务器出货预测，预计 2026 至 2028 年八卡 AI 服务器出货量将分别达到 173 万台、265.5 万台与 330.5 万台，隐含的 AI 芯片需求逼近两千万颗量级。来自中国信通院的另一组数据更加直观：2026 年一季度，国内算力租赁市场规模已达 680 亿元，全年预计突破 2600 亿元；同期国内 AI 算力需求同比大增 417%，而供给增速仅有 128%。需求狂奔、供给承压，"算力焦虑" 正从科技圈蔓延至千行百业。与此同时，政府工作报告明确部署超大规模智算集群、算电协同等新基建工程，一场围绕算力资源的产业变革正加速上演。

    넶0 2026-10-20

  • 宽恒科技：英伟达显卡总代视角下的 RTX PRO 5000 Blackwell

    2026 年，AIGC 工作流已经深入设计、影视、工业与科研的每一个角落。Stable Diffusion 出图、本地大模型推理、数字孪生渲染…… 这些负载对显卡的显存容量与计算性能提出了前所未有的要求，专业显卡市场随之迎来一轮 “大显存、高算力” 的升级潮。在这一轮升级中，英伟达 Blackwell 架构的 RTX PRO 5000 专业显卡成为工作站用户关注的焦点，也让 “专业卡替代游戏卡跑生产负载” 成为行业讨论的常驻话题。

    넶2 2026-10-19