研究员用HoloLens 2开发全息远程呈现交互HoloBots

实现有形远程协作

（映维网Nweon 2023年10月26日）今天的混合现实远程呈现依然无法复制日常生活中的丰富有形体验。例如，在现实世界的协作中，我们可以不经意地抓住和操纵物理对象以促进讨论，在社交互动中使用触觉反馈，并通过物理笔记来进行头脑风暴等等。

然而，当前的混合现实远程呈现系统不可能实现这种有形交互，因为虚拟远程用户无法与本地用户和环境进行物理交互。

所以，日本筑波大学和加拿大卡尔加里大学利用微软HoloLens 2开发了一个通过同步耦合全息远程呈现与致动物理环境来实现有形远程协作的混合现实接口HoloBots。

除了现有的全息远程呈现之外，HoloBots不仅可以允许远程用户以空间可视化方式实现共同呈现，并且可以物理触摸、抓取、操纵远程有形对象，就好像真的置身于同一个共享空间一样。

研究人员通过同步混合现实头显（微软Hololens 2和Azure Kinect）中呈现的远程用户动作与多个桌面移动机器人（索尼Toio）的物理驱动来实现这一点。在现有物理远程呈现和其他相关方法的基础之上，团队做出了两个关键贡献。

首先，研究人员探索了具有全息远程呈现的有形远程协作的更广泛设计空间，例如展示了诸如对象驱动，虚拟手物理化，微型世界探索，共享有形界面，具体化指导和触觉交流等各种交互。他们同时演示了每个交互的用例和应用场景，例如物理叙事、远程有形游戏和动手指导。

其次，团队提供了一个整体的用户评估，以更好地评估移动机器人如何在不同的应用场景中增强全息远程呈现。一项涉及12名被试的用户研究将团队提出的方法（全息图+机器人）与纯全息图和纯机器人条件进行了比较。定量和定性结果都表明，与其他两种情况相比，他们的系统显著提高了混合现实远程协作的共同临在感和共享体验水平。

基于所述见解，研究人员同时讨论了利用机器人环境的有形远程协作的未来。

如上图所示，HoloBots由三个主要方面组成：

1. 使用Azure Kinect深度摄像头捕获远程用户

2. 使用微软Hololens 2头显进行全息渲染和手部追踪

3. 与索尼Toio桌面移动机器人同步驱动。

通过在Toio垫放置QR码来获取垫子的位置并利用相对位置，团队可以在适当的位置显示角色网格。标定后，通过以下三种方式控制每个机器人的位置：远程环境中的物理Toio运动；远程用户所穿戴的HoloLens 2中的虚拟对象运动；或者远程用户的手指位置运动。

当两名用户都有物理Toio设置时，系统可以简单地同步每个环境的位置。另一方面，当只有本地用户配备Toio机器人时，远程用户可以通过抓取和操纵HoloLens中呈现的虚拟Toio来操纵虚拟Toio，而本地用户则可以操纵物理Toio。

或者，远程用户可以通过手和手指追踪来操纵Toio机器人。对于手指绑定，使用拇指，食指和/或小指位置，这取决于可用的机器人数量。每个机器人的位置数据通过UDP通信在远程和本地PC之间发送。

在实现中，考虑到速度和精度之间的平衡，研究人员将Toio机器人的速度设置为17.5厘米/秒。因此，如果远程用户尝试以高于所述速度移动本地Toio机器人，则可能导致位置错误。考虑到精确移动和抖动之间的权衡，团队将所有交互的默认容差设置为1.1 cm，而微型身体交互设置为0.4 cm，因为Avatar身体的准确性比小幅抖动更重要。

HoloBots为远程用户与本地用户交互提供了多种方式。对象致动使得远程用户能够在本地环境中移动和操作对象。例如，远程用户可以直接抓住Toio机器人来移动它的位置。对象致动可以用于不同的用例，例如叙事演绎，触觉交流，以及游戏等等。

在叙事演绎方面，HoloBots允许本地和远程用户与有形对象一起参与创建故事。本地用户既可以作为观众进行观察，又可以积极参与故事创作过程。上图演示了一个远程用户在舞台移动一个恐龙玩具，以向本地用户讲述一个故事。例如，这为孩子和他们远在远方父母或朋友提供了引人入胜的有形故事。

触觉交流是另一种交互演示，它允许远程用户能够向本地用户提供触觉反馈。提供触觉交流的方法有很多种。例如，用户可以根据驱动引导Toio机器人为远程用户导航。这种技术可以用于手把手教学。或者，远程用户可以通过使用Toios移动和触摸本地用户的身体来物理触摸本地用户。这可以用于远程社交互动。

如上图所示，远程用户可以控制在物理画布绘制的红笔的移动。通过将一支物理笔接到Toio，远程用户可以移动红笔并在物理画布绘画。因此，本地和远程用户可以实时协作，共同创建图纸和插图。

另一个潜在的应用是远程游戏体验。通过将Toios附加到游戏对象，本地用户可以通过有形的游戏与远程用户进行物理交互。上图描述了一个桌上冰球游戏应用，它使用了三个Toios，两个用于“冰球杆”，一个用于“冰球”。

这个应用程序允许用户实时对战，创造一个引人入胜的沉浸式游戏体验。

值得一提的是，HoloBots可以设计成多功能和适应各种应用，允许用户附加不同的组件到机器人，从而支持机器人执行更广泛的任务，使其适用于各种应用。例如，将恐龙玩具附加到机器人可以用来表示恐龙，从而扩展其交互潜力；通过将Toios连接到木偶、填充动物、玩具人物和乐高积木等物理对象，本地和远程用户都可以移动相关对象，并进行故事创建。

另外，材料道具。柔软材料、毛皮、织物等材料道具的加入，令本地用户增强对远程物体和用户的感觉。例如通过附加柔软材料，移动机器人可以代表远程用户的手，可以改善触觉交流。

为了分析从研究中收集的数据，研究人员对每项测量都采用了弗里德曼检验。上图显示了总共12个会话（每个会话有4个应用× 3个条件）的社交临在调查问卷的结果。另外，研究人员将三个子量表平均计算出总分。

参与者在访谈中的评论表明，与仅全息图（C2）相比，全息图+机器人（C1）条件产生了更强的临在感。

具体来说，一位参与者指出：“全息影像+机器人可以让我清楚地感受到对方的存在，而仅全息影像的则没有那么高的临在感。另一位参与者则表示：“当其他人不在视线范围内时，仅全息图的情况很难做出反应”。

上述评论表明，将移动机器人与全息远程呈现相结合可以帮助用户更好地理解远程用户的动作和运动。另外，对于所有四种应用程序，数据图表明全息图 + 机器人（C1）得分最高，其次是仅全息图（C2）和仅机器人（C3）。

认知工作量的结果如上图（A）所示。得分越低，认知负荷越低。全息图 + 机器人（C1）的平均得分为54.0，仅全息图（C2）的平均得分为55.3，仅机器人（C3）的平均得分为51.6。

系统可用性量表的结果如图 （B）所示。分数越高表示可用性越高。全息图 + 机器人（C1）的平均得分为77.9分，仅全息图（C2）的平均得分为73.3分，仅机器人（C3）的平均得分为72.9分。在访谈中，参与者提供了关于可用性的反馈。一位参与者指出：“使用Toio的条件易于操作”，另一位参与者则表示：“使用Toio可以轻松调整虚拟图片的大小”。

尽管全息图 + 机器人（C1）的平均可用性得分77.9高，但并不明显优于仅全息图（C2）。一位参与者报告道：“实际运动和机器人之间的耦合缓慢且不一致，这有时会让人难以理解”。

这一反馈表明，全息图和移动机器人之间的低耦合能力可能会对可用性产生负面影响。

偏好结果则如图（C）所示。75%的参与者认为全息图 + 机器人（C1）最好，其次是仅全息图（C2）的17%和仅机器人（C3）的8%。

在研究中，参与者更喜欢全息图+机器人（C1）而不是仅全息图（C2）和仅机器人（C3）。九名参与者中有五名提到社交临在是他们选择全息图+机器人的关键因素，而其余四名参与者提到可用性是一个决定性因素。

因此，全息图+机器人（C1）的高社交存在感和可用性可以提升整体用户体验。

当然，在研究中，远程协作仅限于两个人，而使用更大的群组可能会增加交互的数量，并影响社交临在和用户体验，并可能增加冲突和误解。因此，在更大的群体中进行研究可以帮助了解相关因素如何影响系统。

另外，研究中使用了两个Toios，但可以使用更多。一位参与者指出：“我认为如果可以增加可操作对象的数量（Toio）并允许更复杂的UI操作，那会很好。”

同时，团队使用了单个Kinect摄像头来捕获远程用户的身体动作，所以未来可以通过增加更多的Kinect摄像头来从多个角度捕捉用户的全息图，从而提高远程用户的清晰度和准确性。

相关论文：HoloBots: Augmenting Holographic Telepresence with Mobile Robots for Tangible Remote Collaboration in Mixed Reality

https://paper.nweon.com/14677

总的来说，日本筑波大学和加拿大卡尔加里大学的研究人员提出了HoloBots，一种通过同步桌面移动机器人增强全息远程呈现的新型混合现实接口。通过HoloBots，团队展示了远程用户可以与本地用户和环境进行物理接触，使得他们能够触摸、掌握、操纵有形对象，就好像真的位于同一空间一样。

在现有物理临场感的基础上，研究人员提出了更全面的设计空间和交互技术，如物体驱动、虚拟手物理化、微缩身体交互、共享有形界面、具身引导和触觉交流等等。他们展示了HoloBots的各种应用，如物理叙事，远程有形游戏和动手指导等等。

一项由12名参与者参与的用户研究显示，HoloBots显著增强了混合现实远程协作中的共同临在和共享体验，证明了其在广泛的远程有形协作场景中的可扩展性、可部署性和通用性。

---
原文链接：https://news.nweon.com/114256