Redirected Walking for Exploring Immersive Virtual Spaces With HMD: A Comprehensive Review and Recent Advances
TL;DR 精炼摘要
本文全面综述了重定向行走(RDW)技术,探讨了如何在有限的物理空间中实现沉浸式虚拟体验。研究内容包括重定向操作的分类、各类控制器的方法,以及新兴技术(如深度学习)的应用。文章总结了当前的挑战及未来研究方向。
摘要
Real walking techniques can provide the user with a more natural, highly immersive walking experience compared to the experience of other locomotion techniques. In contrast to the direct mapping between the virtual space and an equal-sized physical space that can be simply realized, the nonequivalent mapping that enables the user to explore a large virtual space by real walking within a confined physical space is complex. To address this issue, the redirected walking (RDW) technique is proposed by many works to adjust the user’s virtual and physical movements based on some redirection manipulations. In this manner, subtle or overt motion deviations can be injected between the user’s virtual and physical movements, allowing the user to undertake real walking in large virtual spaces by using different redirection controller methods. In this paper, we present a brief review to describe major concepts and methodologies in the field of redirected walking. First, we provide the fundamentals and basic criteria of RDW, and then we describe the redirection manipulations that can be applied to adjust the user’s movements during virtual exploration. Furthermore, we clarify the redirection controller methods that properly adopt strategies for combining different redirection manipulations and present a classification of these methods by several categories. Finally, we summarize several experimental metrics to evaluate the performance of redirection controller methods and discuss current challenges and future work. Our study systematically classifies the relevant theories, concepts, and methods of RDW, and provides assistance to the newcomers in understanding and implementing the RDW technique.
思维导图
论文精读
中文精读
1. 论文基本信息
1.1. 标题
Redirected Walking for Exploring Immersive Virtual Spaces With HMD: A Comprehensive Review and Recent Advances (中文译名:基于头戴式显示器的沉浸式虚拟空间探索中的重定向行走:全面综述与最新进展)
1.2. 作者
- Linwei Fan (范琳伟): 山东财经大学计算机科学与技术学院副教授,研究兴趣包括计算机图形学和图像处理。
- Huiyu Li: 山东财经大学管理科学与工程学院教师,研究兴趣包括虚拟现实(VR)和人机交互(HCI)。
- Miaowen Shi: 山东大学软件学院博士生,研究兴趣包括低秩理论、稀疏表示和图像恢复。
1.3. 发表期刊/会议
发表于 IEEE Access (根据引用格式推断及元数据确认)。该期刊是 IEEE 旗下的开放获取(Open Access)期刊,涵盖工程和计算机科学的广泛领域。 发表时间: 2022年5月31日
1.4. 摘要
本文主要针对 重定向行走 (Redirected Walking, RDW) 技术进行了全面的文献综述。相比于其他移动技术(如瞬间移动),真实行走能提供更自然、高沉浸感的体验。然而,如何在有限的物理空间内探索无限或巨大的虚拟空间是一个复杂的问题。RDW 技术通过在用户的虚拟移动和物理移动之间引入偏差来解决这一问题。本文首先回顾了 RDW 的基本概念和标准,详细描述了调整用户移动的“重定向操作 (Redirection Manipulations)”,并对组合这些操作的“重定向控制器 (Redirection Controllers)”进行了分类(包括传统方法和基于深度学习等的新方法)。最后,文章总结了评估指标,并探讨了当前的挑战和未来方向。
1.5. 原文链接
-
链接: /files/papers/694947cc7a7e7809d937f44b/paper.pdf
-
状态: 已正式发表。
2. 整体概括
2.1. 研究背景与动机
- 核心问题: 在基于头戴式显示器(HMD)的虚拟现实(VR)中,真实行走 (Real Walking) 被认为是最具沉浸感和自然感的交互方式。然而,它面临一个严峻的物理约束:用户的物理追踪空间(如房间大小)通常远小于其想要探索的虚拟世界的大小。
- 现有挑战: 简单的 1:1 映射会限制虚拟空间的大小。为了打破这种限制,研究者提出了 RDW 技术,通过“欺骗”用户的感知,让用户在物理空间走曲线或原地打转,而感觉自己在虚拟空间走直线或长距离。尽管已有相关研究,但随着深度学习(DL)和人工势场(APF)等新技术的引入,现有的综述需要更新。
- 切入点: 本文旨在系统化地梳理 RDW 领域的相关理论、概念、操作方法和控制器算法,特别是整合了近年来的新兴方法(如多用户重定向、基于 AI 的预测),为新入门的研究者提供指导。
2.2. 核心贡献
-
系统分类: 对 RDW 的核心组件——重定向操作 (Manipulations) 和 重定向控制器 (Controllers) 进行了详尽的分类和原理解析。
-
前沿更新: 详细描述了传统控制器之外的新型控制器方法,包括基于人工势场(APF)、深度学习(DL)以及多用户环境下的重定向策略。
-
评估指标总结: 归纳了用于评估 RDW 性能的主要定量实验指标(如重置次数、重定向率等),填补了以往综述在这一块的空白。
3. 预备知识与相关工作
3.1. 基础概念
为了理解本文,初学者需要掌握以下核心概念:
-
重定向行走 (Redirected Walking, RDW): 一种 VR 移动技术。利用人类感知系统的缺陷(视觉占主导地位),在用户不察觉的情况下,微调虚拟场景的旋转或平移,迫使用户在物理世界中无意识地调整自己的行走路径,从而将用户的物理位置限制在安全区域内。
-
视觉主导理论 (Visual Dominance): 心理学研究表明,当视觉信号与前庭系统(负责平衡和运动感知)的信号发生微小冲突时,大脑倾向于相信视觉。RDW 正是利用这一原理,在“阈值”内引入偏差。
-
检测阈值 (Detection Threshold): 用户能够察觉到虚拟与现实运动不一致的临界点。低于这个阈值的操作被认为是“不可察觉的 (Subtle)”。
-
增益 (Gain): 用于描述虚拟运动与物理运动之间比例关系的参数(如平移增益、旋转增益)。
下图(原文 Fig. 1)直观展示了 RDW 的基本原理:用户试图在虚拟空间走直线(a),系统微调视角(b),导致用户为了维持虚拟直线而在物理空间走出了曲线(c)。
该图像是示意图,展示了重定向行走(RDW)技术在虚拟空间(图(a))和物理空间(图(c))中的应用。图(b)则表示用户在虚拟环境中的当前方向与下一方向的关系,强调虚拟路径与感知路径的差异。
3.2. 前人工作与差异
-
早期综述: Nilsson 等人 (2018) 提供了 RDW 的分类学,但主要关注高层概念。
-
本文差异: 本文不仅更新了文献库,还特别深入探讨了具体的算法实现(如 APF 和强化学习),并系统总结了定量实验指标,更侧重于帮助研究者理解如何“实现”和“评估”RDW 系统。
4. 方法论
本文并非提出单一的新算法,而是构建了一个分类框架。我们将按照论文的结构,深入解析 RDW 的两大核心支柱:重定向操作 (Manipulations) 和 重定向控制器 (Controllers)。
4.1. 重定向操作 (Redirection Manipulations)
这是 RDW 的“执行机构”,即如何具体地扭曲用户的感知或空间。
4.1.1. 微妙感知操作 (Subtle Perception Manipulations) - 增益
这类操作旨在让用户无法察觉。核心手段是重定向增益 (Redirection Gains)。
下图(原文 Fig. 2)展示了多种增益的原理:
该图像是示意图,展示了重定向行走(RDW)技术中虚拟和物理运动之间的关系。图中分为六个部分,说明虚拟距离()与物理距离()、虚拟路径与物理路径的区别,以及虚拟高度()与物理高度()的对应关系。每个部分均通过箭头和标签清晰地显示了不同的运动模式和参数。
-
平移增益 (Translation Gain, ):
- 原理: 调整用户在虚拟空间的前进速度。让用户觉得走了很远,实际在物理空间只走了很短(或反之)。
- 公式:
- 符号解释: 是虚拟空间中化身移动的距离, 是用户在物理空间实际移动的距离。若 ,用户在虚拟中走得比实际快。
-
旋转增益 (Rotation Gain, ):
- 原理: 放大或缩小用户的头部转动角度。
- 公式:
- 符号解释: 是虚拟视角的旋转量, 是物理头部的实际旋转量。
-
曲率增益 (Curvature Gain, ):
- 原理: 最核心的操作。当用户在虚拟空间走直线时,系统缓慢旋转视角,迫使用户向相反方向转动身体以进行补偿,从而在物理空间走出圆弧。
- 公式:
- 符号解释: 是用户在物理空间行走的圆弧路径的半径。半径越小,增益越大(弯曲越厉害),越容易被察觉。
-
扩展增益: 包括 弯曲增益 (Bending Gain)(针对虚拟路径也是曲线的情况)、梯度增益 (Gradient Gain)(改变虚拟斜坡感知)和 垂直增益 (Vertical Gain)(调整跳跃或下蹲的高度映射)。
4.1.2. 明显感知操作 (Overt Perception Manipulations) - 重置
当微妙操作不足以阻止用户撞墙时,系统必须强制干预。这被称为 重置 (Reset) 或 重新定向 (Reorientation)。
下图(原文 Fig. 3)展示了三种经典的重置方法:
该图像是插图,展示了三种重定向行走(RDW)技术的操作方式:图(a)显示用户在物理空间中转身的同时,虚拟空间的摄像头冻结;图(b)展示了用户在物理空间中旋转180度,摄像头也被冻结;图(c)则展示了用户在物理空间中行走,同时摄像头旋转360度。这些操作旨在实现用户在受限空间内的自由行走,以探索更大的虚拟空间。
-
Freeze-Backup (冻结-后退): 冻结虚拟画面,要求用户物理后退。
-
Freeze-Turn (冻结-转身): 冻结虚拟画面旋转,要求用户物理转身 180度,而虚拟视角不变。
-
2:1-Turn (2:1 转身): 如下图 (c) 所示,用户在物理空间转 180度,系统让虚拟视角转 360度。结果是用户在物理上背对墙壁,而在虚拟中看回原路。
为了减少重置带来的沉浸感破坏,研究者引入了 干扰物 (Distractors)(如飞行的蝴蝶),吸引用户注意力,诱导其在观察干扰物时自然地转动身体。
4.1.3. 虚拟空间操作 (Virtual Space Manipulation)
这是一种改变虚拟环境几何结构的方法,例如 不可能空间 (Impossible Spaces)。
下图(原文 Fig. 4)展示了“重叠架构”的概念: 通过让虚拟房间在非欧几里得空间中重叠(例如图 c 中的扩展房间策略),利用走廊连接两个在物理位置上重叠的虚拟房间。只要用户看不到重叠部分,就不会察觉异常。
该图像是示意图,展示了重定向行走技术的不同场景(图a至图c)。这些场景描述了用户在物理空间中行走时,如何通过调整其虚拟和物理位置的关系,实现对大虚拟空间的探索。
4.2. 重定向控制器 (Redirection Controller Methods)
这是 RDW 的“大脑”,决定在何时、使用何种增益、将用户引导向何处。
4.2.1. 传统控制器
-
脚本式 (Scripted): 预先设计好路径。虽然可靠,但无法应对用户自由探索。
-
下图(原文 Fig. 5)展示了脚本控制器的预定义路径示例:
该图像是示意图,展示了两种脚本重定向控制器方法的预定义虚拟路径。在图(a)中,虚拟环境的路径通过房间内的物体进行了标示;在图(b)中,路径被红色区域定义,配合实际环境中的光源和雕像,体现了重定向行走的具体实现。
-
-
通用式 (Generalized):
-
Steer-to-Center (S2C): 始终将用户引导向物理空间的中心。
-
Steer-to-Orbit (S2O): 将用户引导向围绕中心的轨道。
-
Steer-to-Multiple (S2M): 引导向多个预设目标点。
-
下图(原文 Fig. 6)展示了通用控制器的逻辑流程:计算基线、线性、角速度对应的旋转率,取最大值并平滑处理。
该图像是示意图,展示了通用重定向控制器方法的流程。图中包括输入部分,涉及线速度和角速度的计算,以及旋转速率的计算过程。在此过程中,基线旋转速率、线性旋转速率和角旋转速率被计算并取最大值,最后经过缩放和平滑处理,得出当前旋转速率作为输出。图示清晰地阐释了重定向控制器的工作机制。 -
下图(原文 Fig. 7)直观展示了不同引导策略的目标点差异(如 S2C 指向中心,S2O 指向切线方向):
该图像是示意图,展示了不同的重定向行走策略。图中包含四个部分,分别指示了在物理空间中用户的行走路径与虚拟路径之间的关系,以及不同的引导目标设置,旨在帮助用户在较小的物理空间中探索大的虚拟空间。
-
-
预测式 (Predictive): 预测用户的未来路径(基于头部方向、视线或历史轨迹),提前规划引导策略。
4.2.2. 新型控制器 (Novel Methods)
这是本文重点更新的部分,包含更复杂的算法。
-
基于人工势场 (APF-Based):
- 原理: 将物理边界视为“障碍物”(产生斥力),将安全区域视为“目标”(产生引力)。用户像一个粒子一样在势场中运动,控制器根据合力方向进行引导。
- 公式:
- 符号解释:
- : 总势能函数。
- : 用户当前的物理位置。
- : 目标位置(如空间中心,产生引力)。
- : 用户到目标的距离。
- : 障碍物集合(如墙壁)。
- : 障碍物上距离用户最近的点。
- : 障碍物产生的斥力总和(距离越近,斥力越大)。
-
基于深度学习 (DL-Based):
- 利用 LSTM (长短期记忆网络) 预测用户路径。
- 利用 强化学习 (Reinforcement Learning, e.g., Q-Learning) 训练智能体(Agent),使其自动学习在当前状态下应该施加多大的增益,以最小化撞墙次数(Reward)。
-
多用户重定向 (Multi-User):
-
在同一物理空间内有多名用户时,不仅要避墙,还要避人。
-
下图(原文 Fig. 8)展示了多用户空间共享策略:(a) 空间分割,(b) 共享中心,(c) 偏移中心(各自分配不同的引导中心以减少碰撞)。
该图像是示意图,展示了用户在虚拟空间中的行走模式。图(a)展示了用户1和用户2在不同子空间的活动,图(b)显示了用户在物理空间中的相对位置,图(c)展示了用户间的偏移效应。此图有助于理解重定向行走技术。
-
5. 实验设置
由于本文是综述,它总结了该领域通用的实验设置和评估体系。
5.1. 数据集
在基于深度学习的 RDW 研究中,数据集通常来源包括:
- 模拟数据 (Simulation): 通过算法生成的虚拟行走路径。
- 真人数据 (Live User Data): 收集真实用户在特定虚拟场景中行走的追踪数据(位置、方向)。
- 用途: 用于训练路径预测模型 (LSTM) 或强化学习智能体。
5.2. 评估指标
为了衡量控制器的优劣,本文总结了以下关键指标(对应表 2):
-
平均撞墙次数 (Mean Number of Wall Contacts):
- 定义: 在一次任务中,用户触碰物理边界或触发“重置”操作的平均次数。
- 意义: 越低越好,代表安全性越高,沉浸感中断越少。
-
平均重定向率 (Mean Rate of Redirection):
- 定义: 每秒钟注入的重定向旋转量(绝对值)的平均值。
- 意义: 反映了系统对用户干扰的强度。过高可能导致用户察觉或不适。
-
平均物理中心距离 (Mean Physical Distance to Center):
- 定义: 用户物理位置与物理空间中心点之间的欧几里得距离的平均值。
- 意义: 对于 S2C 等算法,该值越小说明引导效果越好(成功将用户限制在中心)。
-
平均重置间距 (Mean Physical Distance Between Resets):
- 定义: 两次重置操作之间,用户能够行走的平均物理距离。
- 意义: 越大越好,代表连续自由行走的体验越长。
-
副作用 (Unwanted Side Effects):
- 模拟器晕动症 (Simulator Sickness, SS): 通常使用 SSQ 问卷测量。
- 空间认知与记忆 (Spatial Learning and Memory, SLM): 评估重定向是否影响用户构建心理地图。
5.3. 对比基线
大多数新型方法(如 APF 或 DL)通常会与 Steer-to-Center (S2C) 方法进行对比。因为 S2C 是最经典、最通用且易于实现的基线算法。
6. 实验结果与分析
6.1. 人类感知阈值 (Detection Thresholds)
重定向操作是否有效的核心在于是否“不可察觉”。本文汇总了不同研究对感知阈值的测量结果。
以下是原文 Table 1 的结果,展示了不同增益类型的检测阈值范围:
| Gain | Estimation Method | Condition | Detection Threshold | Source |
|---|---|---|---|---|
| Translation (平移) | 2AFC-MCS | Standard | 0.86 - 1.26 | Steinicke et al. 2010 |
| Driving | 0.94 - 1.36 | Bruder et al. 2012 | ||
| Rotation (旋转) | 2AFC-MCS | Standard | 0.67 - 1.24 | Steinicke et al. 2010 |
| 110° FOV, males | 0.62 - 1.40 | Williams et al. 2019 | ||
| Curvature (曲率) | 2AFC-MCS | Standard | 0.045 (Radius 22m) | Steinicke et al. 2010 |
| Slow speed | 0.095 | Neth et al. 2012 |
- 分析:
- 平移增益: 用户通常能容忍约 -14% 到 +26% 的平移缩放而不自知。
- 旋转增益: 容忍度较高,约为 -33% 到 +24%。
- 曲率增益: 这是一个关键瓶颈。数据显示,要让用户完全不察觉地在物理圆圈上走,该圆圈的半径至少需要 22米 左右。这远大于一般的家庭 VR 空间(如 3x3米),说明仅靠隐性增益很难在小空间实现无限行走,必须结合重置操作。
- 影响因素: 行走速度、性别、视场角 (FOV) 都会显著影响阈值。例如,男性对曲率增益通常比女性更敏感。
6.2. 控制器性能评估
本文通过汇总多篇文献,分析了不同控制器的表现。
以下是原文 Table 2 的结果,展示了不同研究中使用的评估指标:
| Example studies | Mean Number of Wall Contacts | Mean Rate of Redirection | Mean Physical Distance to Center | Mean Physical Distance between Resets | Unwanted Side Effect (SS/SLM/CL) |
|---|---|---|---|---|---|
| Hodgson et al. 2013 | √ | √ | √ | × | × |
| Nescher et al. 2014 | √ | √ | × | × | √ (SS) |
| Thomas et al. 2019 (APF) | √ | × | × | √ | × |
| Lee et al. 2019 (DL) | √ | √ | × | × | √ (SS) |
| Bachmann et al. 2019 | √ | √ | √ | √ | √ (SS) |
- 核心结果分析:
- 通用控制器 (S2C vs S2O): 在空旷空间 S2C 表现较好,但在有障碍或特定形状的空间中,S2O 可能更优。
- 新型控制器:
-
APF 方法: 在非矩形(如 L 形、T 形)物理空间中表现优于 S2C,且能更好地处理动态障碍物。
-
DL 方法: 强化学习方法(如 Deep Q-Learning)在减少重置次数方面显著优于 S2C,因为它们能“预见”未来的碰撞并提前规划更优的引导路径。
-
7. 总结与思考
7.1. 结论总结
本文对重定向行走(RDW)技术进行了详尽的综述。
- 体系化: 将 RDW 技术清晰地划分为“重定向操作”(增益、重置、空间变换)和“重定向控制器”(脚本、通用、预测、新型)。
- 感知限制: 总结了人类对视觉-前庭冲突的感知阈值,指出仅靠不可察觉的增益在小空间内(< 6m x 6m)是难以实现无限行走的,必须结合重置等显性手段。
- 技术演进: 展示了从简单的启发式规则(如 S2C)向数据驱动(Deep Learning)和物理模型驱动(Artificial Potential Fields)发展的趋势,后者在复杂环境和多用户场景下表现更佳。
7.2. 局限性与未来工作
- 个体差异 (Subtlety): 目前的检测阈值研究结果不一致,且受性别、年龄、行走速度等因素影响大。未来需要更个性化的阈值模型。
- 安全性与干扰 (Safety): 重置操作(Reset)虽然保证了安全,但破坏了体验。如何设计更自然的干扰物(Distractors)是一个方向。
- 通用性 (Generalizability): 许多预测方法依赖于预先知道虚拟地图。如何实现对未知虚拟环境的实时预测是一个挑战。
- 副作用 (Side Effects): 缺乏对 RDW 引发的晕动症(Simulator Sickness)和认知负载的深入、标准化的研究。
7.3. 个人启发与批判
- 启发: RDW 的核心思想——“利用感知缺陷来弥补物理限制”非常具有启发性。这不仅适用于 VR 行走,也可以迁移到其他触觉反馈或交互设计中(如通过改变光标速度来增强按钮的吸附感)。
- 批判:
- 文章提到的“不可察觉阈值”在实际应用中往往过于保守。为了实用性,未来的研究可能需要探索“轻微可察觉但可接受”的范围,即牺牲一点自然感来换取更大的压缩比。
- 深度学习方法虽然效果好,但其“黑盒”特性以及对训练数据的依赖,可能导致在完全陌生的用户行为模式下失效。结合规则(如 APF)和学习(如 RL)的混合系统可能是更稳健的解法。
相似论文推荐
基于向量语义检索推荐的相关论文。