15 Years of Research on Redirected Walking in Immersive Virtual Environments
TL;DR 精炼摘要
本文回顾了重定向行走技术(RDW)自首次应用以来15年的研究进展。RDW通过不易察觉的旋转在虚拟环境中解决用户物理空间限制,实现用户虚拟行走的无限扩展,同时保护沉浸感,控制运动路径并减少晕动症风险。
摘要
Virtual reality users wearing head-mounted displays can experience the illusion of walking in any direction for infinite distance while, in reality, they are walking a curvilinear path in physical space. This is accomplished by introducing unnoticeable rotations to the virtual environment—a technique called redirected walking. This paper gives an overview of the research that has been performed since redirected walking was first practically demonstrated 15 years ago. Locomotion, the act of moving from one location to another, is considered one of the most fundamental and universal activities performed during interaction within Virtual Reality (VR). To most people locomotion is a trivial and frequent everyday activity. However, allowing users to freely walk through virtual environments (VEs) presents a considerable challenge. Ideally the walker’s movement within a VE should be constrained only by the virtual topography and architecture, not by the size of the available physical space. Redirection techniques manipulate the physical transformations of the user’s movement within the VE so that motion is no longer mapped 1:1, or they manipulate the physical characteristics, e.g., the architecture, of the VE. These manipulations make it possible to guide the physical path of walking users so they can travel through VEs larger than the available tracking space. The literature on virtual walking describes other locomotion techniques intended to facilitate unconstrained walking in large VEs, e.g., omnidirectional treadmills and walking-in-place techniques.
思维导图
论文精读
中文精读
1. 论文基本信息
1.1. 标题
15 Years of Research on Redirected Walking in Immersive Virtual Environments (沉浸式虚拟环境中重定向行走技术的十五年研究综述)
1.2. 作者
- Niels Christian Nilsson (奥尔堡大学,丹麦)
- Tabitha Peck (戴维森学院,美国)
- Gerd Bruder (中佛罗里达大学,美国)
- Eric Hodgson (迈阿密大学,俄亥俄州,美国)
- Stefania Serafin (奥尔堡大学,丹麦)
- Mary Whitton (北卡罗来纳大学教堂山分校,美国)
- Evan Suma Rosenberg (南加州大学,美国)
- Frank Steinicke (汉堡大学,德国)
1.3. 发表期刊/会议
发表于 IEEE Computer Graphics and Applications。这是一个在计算机图形学和可视化应用领域极具影响力的期刊,侧重于技术在实际系统中的应用与综述。
1.4. 发表年份
2018年 (具体日期为 2018-01-12)
1.5. 摘要
佩戴头戴式显示器(HMD)的虚拟现实(VR)用户可以体验到在任意方向无限行走的错觉,而实际上他们是在物理空间中沿着曲线行走。这是通过向虚拟环境引入不易察觉的旋转来实现的——这种技术被称为重定向行走(Redirected Walking, RDW)。本文概述了自15年前重定向行走首次被实际演示以来所进行的研究。虽然让用户在虚拟环境(VE)中自由行走面临巨大挑战(受限于物理空间大小),但重定向技术通过操纵用户运动的物理变换或虚拟环境的架构,使得用户可以在比物理追踪空间更大的虚拟环境中行走。文章详细回顾了隐性与显性的重定向方法、控制器算法以及相关的副作用。
1.6. 原文链接
PDF Link (状态:已发表)
2. 整体概括
2.1. 研究背景与动机
- 核心问题: 在虚拟现实(VR)中,移动(Locomotion) 是最基础的交互方式。最自然的方式是直接行走(Real Walking),但这受限于现实世界中物理空间(Tracking Space)的大小。用户往往想在巨大的虚拟世界中探索,但现实中只有一个小房间。
- 现有挑战: 其他移动技术(如全向跑步机、原地踏步、瞬间传送)虽然解决了空间限制,但缺乏真实的本体感觉(Proprioceptive)、运动知觉(Kinesthetic) 和前庭系统(Vestibular) 刺激,可能导致晕动症或降低沉浸感。
- 创新切入点: 重定向行走(RDW)利用人类感知系统的缺陷(即视觉占主导地位,且对微小的旋转/加速度不敏感),通过欺骗用户的感官,让他们以为自己在走直线,实际上却在物理空间中转圈,从而将无限的虚拟行走压缩到有限的物理空间中。
2.2. 核心贡献/主要发现
-
全面综述: 论文系统地梳理了过去15年(从Razzaque等人2001年的开创性工作开始)RDW领域的研究成果。
-
分类学: 将RDW技术清晰地分类为基于增益操纵(Manipulation of Gains) 的方法和基于架构操纵(Manipulation of Architecture) 的方法,并区分了隐性(Subtle) 和显性(Overt) 技术。
-
控制器分析: 总结了管理重定向逻辑的各类控制器(脚本式、通用式、预测式、重置式)。
-
副作用探讨: 深入分析了RDW对晕动症(Simulator Sickness)、空间记忆(Spatial Memory)和认知负荷(Cognitive Load)的影响。
-
阈值总结: 汇总了不同类型增益(平移、旋转、曲率等)的人类感知检测阈值,为开发者提供了具体的参数参考。
3. 预备知识与相关工作
3.1. 基础概念
为了理解本文,初学者需要掌握以下核心概念:
- 追踪空间 (Tracking Space): 现实世界中用户可以安全移动的物理区域(如 的房间)。
- 虚拟环境 (Virtual Environment, VE): 用户在头显中看到的数字世界,通常远大于追踪空间。
- 重定向行走 (Redirected Walking, RDW): 一种通过在用户移动时不知不觉地旋转或平移虚拟场景,迫使或是诱导用户在物理世界中调整路径的技术。
- 增益 (Gain): 描述虚拟运动与真实运动之间比例关系的参数。
- 如果你在现实中转了 ,但在虚拟中转了 ,这就是一种增益操纵。
- 感知阈值 (Detection Threshold): 用户能够察觉到虚拟与现实运动不一致的临界点。RDW的目标通常是将操纵控制在这个阈值之下(即隐性重定向)。
- 前庭系统 (Vestibular System): 位于内耳,负责感知头部旋转和加速度的器官。RDW利用视觉信号(Visual)覆盖前庭信号的微小差异。
3.2. 技术演进与差异化
- 早期工作 (Razzaque et al., 2001): 首次提出RDW概念,主要通过旋转增益让用户在物理空间中来回走动,而在虚拟空间中感觉像是在走长直走廊。
- 技术分歧:
- 其他移动技术: 如全向跑步机(Omnidirectional Treadmills)或原地行走(Walking-in-place)。本文指出RDW的优势在于它保留了真实的行走体验(惯性、肌肉反馈)。
- 重定向的分类: 本文将RDW技术细分为两大流派:
-
映射操纵 (Mapping Manipulation): 改变运动比例(如走1米算2米)。
-
架构操纵 (Architectural Manipulation): 改变虚拟房间的布局(如改变门的位置)。
-
4. 方法论
本章节详细拆解论文中总结的RDW技术体系。
4.1. 基于增益的隐性操纵 (Subtle Manipulation of Gains)
这是RDW最核心的方法,通过连续地、微小地改变虚拟摄像机的参数来误导用户。主要包含四种类型的增益:
4.1.1. 旋转增益 (Rotation Gains)
- 原理: 当用户在现实中原地旋转头部时,系统以不同于1:1的比例旋转虚拟场景。
- 公式理解: 设物理旋转角度为 ,虚拟旋转角度为 ,则旋转增益 定义为:
- 当 (例如 1.2): 用户物理旋转 ,虚拟中已经转了 。这意味着用户只需要转更少的角度就能完成虚拟转身,适用于物理空间受限时。
- 当 (例如 0.8): 用户物理旋转 ,虚拟中只转了 。迫使用户在物理上多转一些。
4.1.2. 平移增益 (Translation Gains)
- 原理: 缩放用户的步长。
- 公式理解: 设物理位移为 ,虚拟位移为 ,则平移增益 为:
- 这可以让用户在较小的物理房间内走过较长的虚拟距离。
4.1.3. 曲率增益 (Curvature Gains)
- 原理: 当用户在虚拟世界中走直线时,系统微小地旋转场景,迫使用户在物理世界中不知不觉地沿曲线行走以保持在虚拟路径的中心。
- 直观效果: 用户以为自己在笔直地走过无限长的走廊,实际上他们在物理房间里绕圈圈。
- 限制: 需要该圆的半径足够大,否则用户会感到侧向的加速度或发现自己在转弯。
4.1.4. 弯曲增益 (Bending Gains)
-
原理: 类似于曲率增益,但用于当用户在虚拟世界中也是沿曲线行走时。系统会增加或减少曲线的弯曲程度,使物理路径更适合追踪空间。
下图(原文 Figure 1)直观展示了这四种增益的效果:
该图像是示意图,展示了四种用于操控用户真实与虚拟运动映射的增益类型:(a) 旋转增益(用户静止)、(b) 平移增益(用户向前移动)、(c) 曲率增益(用户向前移动)和(d) 弯曲增益(用户沿曲线移动)。 -
(a) 旋转增益: 用户原地转头。
-
(b) 平移增益: 用户向前走,但在虚拟中走的距离不同。
-
(c) 曲率增益: 虚拟走直线(虚线),物理走曲线(实线)。
-
(d) 弯曲增益: 虚拟走曲线,物理走不同曲率的曲线。
4.2. 显性重定向与干预 (Overt Redirection and Interventions)
当用户即将撞墙且隐性增益无法及时将其转向时,系统必须进行显性干预。这通常打破了沉浸感,是不得已的手段。
- 2:1 转向 (2:1 Turn): 系统提示用户停下并物理转身 ,同时虚拟场景旋转 。结果是用户在物理上背对墙壁,但在虚拟中方向不变,可以继续前行。
- 冻结-转向 (Freeze-Turn): 冻结虚拟画面,让用户物理转身回到安全区域,然后解冻。
- 干扰物 (Distractors): 出现一只鸟或一个球(如红球),吸引用户注视并转头。在用户转头跟随干扰物时,系统施加巨大的旋转增益。这种方法比纯粹的指令更自然。
4.3. 虚拟架构操纵 (Subtle Manipulation of Virtual Architecture)
这种方法不改变运动映射,而是动态改变虚拟环境本身的结构。
-
变化盲视 (Change Blindness): 利用人眼无法察觉视野外物体变化的特性。例如,当用户背对一扇门时,移动门的位置。
-
不可能空间 (Impossible Spaces): 创建在欧几里得几何中不可能存在的重叠空间。例如,两个虚拟房间在逻辑上是相邻的,但在物理映射上它们共享同一个物理空间(重叠)。只要用户看不到重叠部分,他们就不会察觉。
下图(原文 Figure 2)展示了这两种架构操纵:
该图像是示意图,展示了通过虚拟建筑的操控实现的两种重定向形式:(a) 变化失明重定向,用户在空间中行走的过程被调整;(b) 不可能空间,两个房间在物理上重叠,展示了不同的重叠百分比。 -
(a) 变化盲视: 门的位置在用户不知情时改变了。
-
(b) 不可能空间: 两个房间重叠在一起,利用走廊连接,让用户感觉不到空间的复用。
4.4. 重定向控制器 (Redirection Controllers)
控制器是决定“何时”以及“如何”应用上述技术的算法逻辑。
-
脚本式控制器 (Scripted Controllers): 预先定义好路径和重定向参数。适用于线性叙事体验,但不灵活。
-
通用式控制器 (Generalized Controllers):
- 转向中心 (Steer-to-Center): 不管用户怎么走,总是施加增益试图将用户引导回物理空间的中心。
- 转向轨道 (Steer-to-Orbit): 引导用户绕着中心转圈。
-
预测式控制器 (Predictive Controllers): 预测用户未来的路径,提前规划最佳的重定向策略。
-
重置式控制器 (Resetting Controllers): 专门处理用户即将出界的紧急情况(即显性重定向)。
5. 实验设置
由于这是一篇综述论文,其“实验设置”主要指代该领域研究中通用的评估范式。
5.1. 数据集与样本
RDW研究不依赖传统机器学习意义上的“数据集”,而是依赖用户研究 (User Studies)。
- 样本: 通常是数十名被试者(Participants)。
- 任务: 走直线、转圈、寻找目标等。
- 变量: 施加的增益值(如旋转增益 1.1, 1.2, 1.3...)。
5.2. 评估指标
RDW研究主要通过心理物理学方法来测量以下指标:
5.2.1. 检测阈值 (Detection Thresholds, DTs)
- 概念定义: 用户能够以特定概率(通常是50%或75%)正确判断出自己被“欺骗”了的增益值。
- 测量方法: 使用二选一强迫选择 (2-Alternative Forced Choice, 2AFC) 任务。例如,问用户:“虚拟移动比物理移动快还是慢?”
- 核心参数:
- 主观相等点 (Point of Subjective Equality, PSE): 用户感觉虚拟运动与真实运动完全一致的增益值(通常接近1,但不一定等于1)。
- 检测率 (Detection Rate): 用户察觉到操纵的比例。
5.2.2. 晕动症评分 (Simulator Sickness Score)
- 概念定义: 衡量RDW是否引起恶心、头晕等不适。
- 工具: 肯尼迪模拟器晕动症问卷 (Simulator Sickness Questionnaire, SSQ)。包含恶心(Nausea)、动眼神经(Oculomotor)和定向障碍(Disorientation)三个维度的评分。
5.2.3. 空间记忆与认知负荷
-
空间指向任务: 让用户闭眼指向刚才经过的路标,测量角度误差。
-
双重任务 (Dual Tasking): 让用户一边行走一边做算术或记忆单词,测量认知资源被行走的占用情况。
6. 实验结果与分析
本章节总结了15年研究得出的关键量化结论。
6.1. 核心结果:检测阈值 (Detection Thresholds)
这是RDW研究中最具参考价值的数据,决定了开发者可以在多大程度上“欺骗”用户而不被发现。
6.1.1. 旋转增益阈值
研究表明,人类对旋转的感知并不精确,特别是当旋转伴随着身体运动时。
- 主要发现 (Steinicke et al.):
- 用户可以被物理旋转比虚拟旋转多约 49% (Upscaling)。
- 用户可以被物理旋转比虚拟旋转少约 20% (Downscaling)。
- 这意味着:如果你在虚拟中转 ,现实中你可以让用户转 或者 ,而用户可能察觉不到。
- Jerald et al. 的发现: 如果增益方向与头部旋转方向一致,用户更难察觉。
6.1.2. 平移增益阈值
- 主要发现:
- 缩小 (Downscaling): 可达 14%。
- 放大 (Upscaling): 可达 26%。
- 分析: 如果仅靠平移增益,能节省的空间有限(比如只能把
5.8m \times 5.8m的虚拟空间塞进4.6m \times 4.6m的物理空间)。
6.1.3. 曲率增益阈值
这是实现“无限行走”的关键。
- 主要发现: 关于需要多大的圆半径才能让人感觉是在走直线,不同研究结果差异巨大。
- Steinicke et al.: 半径 22米。
- 其他研究: 半径 6.4米 至 11.6米。
- 分析: 这种差异可能源于实验方法或行走速度的不同(走得越慢越难察觉)。如果半径需要22米,那意味着你需要一个巨大的体育馆才能实现完美的隐性重定向,这在家庭环境中是不现实的。
6.2. 副作用分析
6.2.1. 晕动症 (Simulator Sickness)
- 结果: 大多数研究显示,相比于无重定向,RDW会增加晕动症的程度,但通常在可接受范围内。
- 视觉与听觉: 仅使用听觉重定向可能比视觉+听觉重定向引起的晕动症更少。
6.2.2. 空间认知 (Spatial Performance)
- 隐性 vs. 显性:
- 隐性重定向 (Subtle): 对空间记忆没有显著负面影响,甚至可能优于手柄移动。
- 显性干预 (Overt): 如“冻结-转向”会显著干扰用户的空间认知地图,导致指向任务的错误率增加。因为这造成了强烈的感官冲突和中断。
6.2.3. 认知负荷 (Cognitive Load)
-
结果: RDW需要用户(潜意识地)处理感官冲突,这会占用认知资源。
-
Bruder et al. 的发现: 曲率半径越小(重定向越剧烈),对空间工作记忆和语言工作记忆的消耗越大。这意味着在高强度重定向时,用户可能很难同时进行复杂的思考任务。
7. 总结与思考
7.1. 结论总结
本文全面回顾了重定向行走(RDW)技术的十五年发展历程。
- 可行性: RDW 是唯一能让用户在有限空间内体验无限、自然行走的技术。
- 方法: 主要依赖于利用人类感知缺陷的隐性增益(旋转、平移、曲率)和虚拟架构操纵(重叠空间)。
- 理想标准: 理想的RDW应当是不可察觉的 (Imperceptible)、安全的 (Safe)、通用的 (Generalizable) 且无副作用的 (Devoid of side effects)。目前没有任何单一技术能同时完美满足这四点。
7.2. 局限性与未来工作
作者指出了当前研究存在的几个主要 Gap:
- 阈值的普适性: 现有的检测阈值大多是在旧设备上测得的,未必适用于现代高性能头显。且缺乏对个体差异(如不同年龄、敏感度)的了解。
- 多用户重定向 (Multi-user Redirection): 目前绝大多数算法只针对单人。如何在同一物理空间内让两个用户互不相撞且互不干扰,是一个巨大的计算和预测难题。
- 复杂环境适应性: 现有的 RDW 假设物理空间是空旷的(实验室环境)。未来需要研究如何在充满家具杂物的“建筑级”尺度(Building-scale)现实环境中安全应用 RDW。
- 预测能力: 现有的控制器预测用户路径的能力有限,未来可能需要结合眼动追踪(Eye-tracking)甚至脑机接口(BCI)来预判用户意图。
7.3. 个人启发与批判
- 启发: RDW 的核心在于“感官欺骗”。这不仅仅是图形学问题,更是心理物理学问题。这种利用感知漏洞的设计思路可以迁移到其他触觉或听觉反馈系统的设计中。
- 批判: 论文中提到的曲率增益半径差异(6.4m vs 22m)是一个非常关键的不确定性。如果是22m,RDW在家庭VR(通常 < 3m x 3m)中几乎无法单独使用。这暗示了在小空间中,必须混合使用显性重定向(如干扰物)或不可能空间技术,而不能单纯依赖隐性增益。
- 应用前景: 随着无线VR一体机(如Quest系列)的普及,Inside-out 追踪使得“多房间”VR成为可能。论文中提到的“不可能空间”和“变化盲视”在多房间游戏设计中具有极大的潜力,可以让玩家感觉自己在探索一座无限的城堡,而实际上只是在自家的客厅和卧室之间来回穿梭。
相似论文推荐
基于向量语义检索推荐的相关论文。