ECHOES OF MOTION
Echoes of Motion是我主导的沉浸式数字舞蹈艺术项目，核心合作方为伦敦当代舞蹈学院（LCDS）的专业舞者，旨在通过技术与艺术的深度融合探索数字语境下的身体表达。
项目技术架构以动作捕捉数据为核心驱动，结合 Unreal Engine 5 引擎的实时渲染管线与光影特效系统，将舞蹈的肢体韵律转化为可视化的数字艺术语言 —— 通过影像叙事与动态舞蹈的有机耦合，构建出具备强沉浸感的虚拟场域，让数字空间成为承载身体表达的新媒介。
最终呈现中，观众将在虚实交织的感官体验里，直观感受肢体动态与数字特效的共生关系，进而引发对 “身体与存在”“真实与虚拟” 等命题的深层思考，实现技术载体与人文表达的双重落地。
2024
沉浸式舞蹈 / 交互式装置 / VR
UE5, TouchDesigner
特别感谢
Emma Dexter-Smith - 舞者
Maddy Knight - 舞者
VR 模式演示
概念设计
音乐与音效
音乐与音效
在Echoes of Motion的创作中，我基于项目核心表达需求 —— 即「身体与数字的共生哲思」，选定坂本龙一的《andata》作为核心配乐，形成技术叙事与情感氛围的底层支撑。
这首作品的音乐特质与项目技术落地目标高度契合：其细碎背景音（如轻雨、溪流质感）与虚拟场景中 Unreal Engine 5 渲染的「数字流体」视觉元素形成听觉 - 视觉联动，通过音频波形驱动粒子特效参数的动态调整，强化了「数字空间的呼吸感」；而温柔旋律线则与动作捕捉数据的韵律感形成呼应 —— 我通过在后期处理中将音乐节拍标记与舞蹈动作关键帧进行时序对齐优化，让肢体伸展的缓急、关节转动的弧度与旋律起伏形成精准耦合，使虚拟舞者的动态更具情感穿透力。
自然触达对「存在本质」的思考 —— 这也正是技术手段服务于艺术核心表达的关键落地体现。
虚拟空间设计
空间设计以音乐本质为核心锚点：通过精准控制
Unreal Engine 5 的实时灯光参数，一束定向光束
穿透暗场，聚焦虚拟舞者与粒子集群 —— 后者通
过音频波形驱动粒子生命周期参数（密度、流速、
消散阈值），实现与音乐节奏的动态耦合。这些视
觉元素不仅以光影层次提升场景质感，更通过 “光
束锚定主体 + 粒子呼应韵律” 的设计，强化音舞间
的叙事关联，将 “生命短暂与自然脆弱” 的主题转
化为可感知的空间语言。最终以技术驱动的沉浸感，
让空间既承载诗意表达，又形成强烈的感官冲击，
深化对存在命题的共鸣。
Unreal Engine 5 的实时灯光参数，一束定向光束
穿透暗场，聚焦虚拟舞者与粒子集群 —— 后者通
过音频波形驱动粒子生命周期参数（密度、流速、
消散阈值），实现与音乐节奏的动态耦合。这些视
觉元素不仅以光影层次提升场景质感，更通过 “光
束锚定主体 + 粒子呼应韵律” 的设计，强化音舞间
的叙事关联，将 “生命短暂与自然脆弱” 的主题转
化为可感知的空间语言。最终以技术驱动的沉浸感，
让空间既承载诗意表达，又形成强烈的感官冲击，
深化对存在命题的共鸣。
在项目《Echoes of Motion》中，我牵头动作捕捉环节的技术执行与艺术落地，联合伦敦当代舞蹈学院（LCDS）舞者完成核心数据采集。依托伦敦艺术学院动作捕捉实验室的 Vicon系统，保障动作捕捉精度与数据完整性。
前期通过多轮共创沟通，我与舞者同步创作方向与音乐调性，由舞者基于此完成舞蹈动作编排，确保动作语言与项目艺术定位高度契合。
后续技术流程中，我主导动作数据的全链路处理：针对原始捕捉数据进行降噪、去冗余及关键帧优化，解决动态抖动、关节穿帮等问题；同步将清理后的动作数据绑定至虚拟舞者角色，通过调整骨骼权重、优化过渡曲线等技术手段，实现肢体动态在数字空间的高保真还原 —— 既保证动作流畅度达到实时渲染标准，又完整保留舞蹈本身的韵律感与情感表现力。
该环节有效打通 “真实动作采集 - 数字资产转化” 的技术链路，为虚拟角色的最终艺术呈现提供了核心动态支撑。
角色动画
受技术适配限制，Vicon Shogun 导出的原始动捕数据无法直接匹配 Unreal Engine 5 角色骨骼。为此，我设计了针对性的技术流程：先将原始数据导入 Blender 进行全流程优化，通过关键帧平滑算法修正动态抖动、冗余帧等异常问题，确保动作过渡自然流畅；接着完成角色骨骼与动捕数据的权重绑定，生成完整带骨骼驱动的动画资产；最终将优化后的动画导入 UE5，通过引擎内置的骨骼重定向工具完成与虚拟角色的适配。
这套流程既解决了跨软件数据兼容问题，又在技术链路中全程保留了原始舞蹈表现的细节与张力，实现了动捕数据向虚拟环境的无缝迁移。
这套流程既解决了跨软件数据兼容问题，又在技术链路中全程保留了原始舞蹈表现的细节与张力，实现了动捕数据向虚拟环境的无缝迁移。
交互式水面系统
为实现虚拟舞者与水面的交互效果，我基于 Unreal Engine 官方水系统蓝图进行开发。初期集成后发现，原蓝图的碰撞逻辑仅适配角色胶囊体 —— 这类碰撞体多用于移动类玩法，而项目中舞者动画过程中胶囊体保持静止，导致水面无响应。
针对这一适配问题，我通过以下步骤解决：首先解析蓝图核心节点，调整碰撞检测逻辑，扩展其交互对象类型；随后在角色足部骨骼链上绑定两个球形碰撞体，通过骨骼动画驱动碰撞体实时运动。最终实现了舞者起舞时，足部与水面接触产生精准波纹反馈的效果，既保留了水系统的物理真实感，又让交互细节与舞蹈韵律高度契合。
粒子系统
为视觉化呈现音乐的节奏张力与情感层次，我基于UE5的Niagara粒子系统，开发了一套音舞双驱动的动态粒子效果——通过音频频谱分析与动作捕捉数据的双重映射，让粒子实时响应音乐节拍波动与舞者肢体动态，强化音舞交互的视觉锚点，帮助观众直观感知二者的协同关系。初期实现中，因背景音乐偏柔和，粒子仅呈现细微流动，未能充分传递情感张力。对此，我通过三层技术调整优化：一是在Niagara中增加音频强度的敏感度参数映射，提升低振幅段落的粒子反馈阈值；二是为粒子赋予金属质感材质，通过高光反射属性强化灯光下的闪烁效果，增强视觉穿透力；三是降低粒子生命周期流速参数，使运动轨迹与音乐的舒缓韵律更精准同步。优化后，粒子效果既保留了音乐柔和特质下的细腻流动，又能在情感高潮处通过动态变化放大音舞共鸣，成为连接听觉与视觉的核心媒介。
为将作品升级为交互式装置，我设计了 “无设备沉浸交互” 方案：以 Kinect 传感器为输入核心，实时捕捉观众头部空间位置数据，通过 TouchDesigner 完成数据清洗与格式转换后，流式传输至 Unreal Engine 5，驱动引擎内虚拟摄像机的视角参数动态更新，实现基于观众位置的实时视差渲染。
这套技术链路解决了传统 VR 交互的设备门槛问题 —— 观众无需佩戴任何设备，仅通过自然头部转动，即可获得与物理位置匹配的多角度虚拟舞蹈视角。通过优化 Kinect 的追踪采样率（提升至 30fps）与 UE5 摄像机的插值平滑算法，确保视角切换无延迟、无抖动，最终营造出 “透过真实窗口观察虚拟场景” 的临场感，让观众从被动观看者转变为主动探索者，深度强化了作品的沉浸交互体验。
原型 1
首个原型开发阶段，我启用了Unreal Engine 5的TouchEngine插件，并通过蓝图配置实现从TouchDesigner定向获取右手左右运动数据。传输数据范围限定在-100至100区间（负值代表左手方向移动，正值代表右手方向移动），并将该数据映射至相机旋转参数——当数值为100时，相机会围绕中心完成360度右旋，以此建立基础的交互控制逻辑。
原型 2
在原型1的基础上，原型2进行了多维度技术升级：扩展追踪维度至上下、前后轴，完善空间交互的自由度；将追踪对象从右手切换为头部，更贴合人体自然交互习惯，提升视差体验的直观性。核心优化聚焦于相机响应逻辑：通过蓝图节点构建“运动补偿算法”——当头部向右移动时，相机同步向左旋转（反之亦然），利用反向运动映射模拟真实物理空间中“视角随观测点位移而自然偏移”的视差效果，强化虚拟场景的深度感知与空间纵深感。开发层面集成实时调试模块，在屏幕界面动态显示头部位置坐标值，实现数据流转的可视化监控，有效缩短参数调优周期，保障交互逻辑迭代的流畅性。
在原型1的基础上，原型2进行了多维度技术升级：扩展追踪维度至上下、前后轴，完善空间交互的自由度；将追踪对象从右手切换为头部，更贴合人体自然交互习惯，提升视差体验的直观性。核心优化聚焦于相机响应逻辑：通过蓝图节点构建“运动补偿算法”——当头部向右移动时，相机同步向左旋转（反之亦然），利用反向运动映射模拟真实物理空间中“视角随观测点位移而自然偏移”的视差效果，强化虚拟场景的深度感知与空间纵深感。开发层面集成实时调试模块，在屏幕界面动态显示头部位置坐标值，实现数据流转的可视化监控，有效缩短参数调优周期，保障交互逻辑迭代的流畅性。
交互式装置展示