149浏览
作者：京东零售-平台产品与研发中心-端技术与内容研发部-XR产品研发部
背景
自2025年起，京东零售XR产品研发团队与清华大学强强联合，共同推进"4D视频采集重建与移动端渲染交互"项目。双方聚焦采集系统、重建算法与渲染引擎三大核心技术方向，持续攻坚、不断优化创新，在多个关键环节实现了突破，取得了阶段性成果。
在刚刚结束的SIGGRAPH Asia 2026 Volumetric Video Challenge（体积视频挑战赛）中，团队凭借领先的重建技术，一举斩获 Sparse-View Track（稀疏视角重建赛道）冠军——该赛事致力于推动体积视频技术从实验室原型走向实用化、可规模化部署的系统，今年聚焦体积视频压缩与稀疏视角重建两大核心难题，团队在该项挑战中展现了显著的技术优势。
此外，团队相关研究论文DirectFisheye-GS入选CVPR 2026 Highlights，并受邀在2026全球人工智能技术大会上分享技术实践。上述成果为沉浸式空间内容的生产与交互应用奠定了坚实基础。 下面将简要分享冠军算法的技术方案。
图1 SIGGRAPH Asia 2026 体积视频挑战赛冠军
技术方案
体积视频支持三维动态场景中的6-DoF自由视点漫游，但传统方法依赖高密度机位阵列。为推动轻量化采集落地，第2届国际体积视频挑战赛继续设立稀疏视角重建赛道。相比首届（8台环绕相机、仅评测动态人体前景），本届训练机位缩减至6个大基线相机，且采用前景与全图各占50%的等权独立加权评测，要求算法在稀疏视角下兼顾高动态人体捕捉与背景几何稳定性，带来双重挑战。
难点
直接将现有的 4DGS 重建方法应用于 6 机位大基线输入时，往往会面临以下几类典型的优化退化：
- 统一阈值下的致密化失衡（Imbalanced Densification Control） ：标准 3DGS/4DGS 的自 适应密度控制主要基于屏幕空间位置梯度（View-space Gradient）来指导高斯的克隆与分 裂。在 6 机位稀疏分布下，静态背景占据了全图绝大部分像素面积。若采用全局统一的梯度阈 值，极易引发结构性矛盾：若阈值较小，观测稀疏的背景区域容易过量分裂、过度拟合；若阈 值较大，剧烈运动的前景高频细节又难以有效克隆致密，导致新视角下动态前景出现模糊。
- 多机位异步与大位移下的运动欠约束（Under-Constrained Motion） ：人体快速运动带来 的跨帧大位移，叠加多相机采集之间不可避免的微小时间偏移，使得单一光度损失难以解耦高 斯的位置移动与外观变化，导致优化容易陷入局部极小，产生模糊与伪影。
- 弱观测与未覆盖区域的信息不适定（Incomplete View Coverage） ：6 个机位之间的视角间 隔较大，且存在遮挡，导致不少区域仅能被单个相机弱观测甚至完全未被覆盖。在缺乏多视角 立体约束的情况下，纯物理优化在这些视角容易欠约束，进而在新视点渲染时产生浮空杂斑或 结构破损。 针对上述瓶颈，团队提出了空间先验、时序先验与生成式辅助协同的完整重建管线：
图2 稀疏重建算法技术架构
方法设计
本方案以时空高斯为基础表征，每个高斯基元赋予时空中心、时间方差以及 3D 瞬时速度。针对稀疏视角的特性，框架在空间、时序及生成三方面分别引入针对性约束。
1. 区域自适应空间先验（Region-Adaptive Spatial Priors）
前背景解耦的高斯初始化：利用多视角前景掩码（YOLO11、SAM 2）容错投票对初始点云进行区域分类：
根据分类结果对两类高斯实施差异化配置：动态前景高斯逐帧稠密初始化，配置短时间跨度以紧跟人体动作；静态背景高斯则每隔 10 帧稀疏采样并赋予长时间跨度，从而在初始阶段就避免静态背景生成过量高斯。
尺度对齐的背景深度正则化：利用单目深度估计模型 Depth Anything V2（DA2）提取几何先验，利用三角化稀疏点通过 RANSAC 鲁棒估计尺度因子与偏移量，将相对逆深度映射至真实尺度。仅在背景像素集合 B 上施加深度约束：
该项约束为弱观测的背景区域提供了几何支撑，有效抑制了背景高斯产生几何漂移。
2. 运动一致性时序先验（Motion-Consistent Temporal Priors）
亚帧插值光度伪监督：针对采集帧率有限导致的大位移问题，在预处理阶段利用视频插帧算法 RIFE 在相邻帧间生成中间子时刻。训练中设计了时序交替采样调度策略：
使网络在不同 epoch 轮次间遍历不同的亚帧状态，提供时间维度的连续平滑约束。
光流正则化：高斯基元的 3D 瞬时速度经透视投影雅可比矩阵线性化投影至二维像平面：
通过可微 α-blending 渲染得到二维运动场，并与多帧光流估计模型 VideoFlow 提取的伪真实流场计算端点误差（EPE）损失：
3. 生成式辅助（Generative Assistance）
最大角隙虚拟相机插值：沿着相机阵列中内向环绕视角的轨迹，在相邻训练相机夹角跨度最大的间隙处递归二分插入虚拟视点，并在位姿流形空间中基于空间欧氏距离与姿态角距离度量检索其最近邻的真实机位集合：
ArtiFixer 扩散模型视角修复：将当前 4DGS 在虚拟视点渲染的有噪粗图作为几何条件输入，结合邻近真实视点图像特征，通过条件扩散模型生成修复图像：
并将修复结果作为虚拟机位下的伪真值目标重新参与后续 4DGS 优化。
交替循环优化与保真度约束：重构与生成修复执行两轮循环（）。随着基础 4DGS 模型质量的提升，更干净的渲染图为 ArtiFixer 提供了更准确的形貌先验，进而生成更高保真的伪目标。每轮循环的最后 个 epoch 均切断伪监督，仅使用真实训练机位进行微调收敛，以弱化修复图像中不一致性带来的干扰。
实验结果
在挑战赛官方盲测集上，各参赛方案在 6 个机位输入下的动态重建结果汇总于表 1。评测指标涵盖全画面（Full Frame）与动态前景（Foreground）的 PSNR、SSIM 以及 LPIPS（AlexNet）：
表 1：SIGGRAPH Asia 2026 VVC 挑战赛稀疏视角赛道（Sparse-View Track）官方榜单
在官方盲测集上，我们的方案在全画幅 PSNR（30.04 dB）、感知质量 LPIPS（0.1794）以及前景 PSNR（27.88 dB）、感知质量 LPIPS（0.2121）上均位列第一，最终以加权总名次 2.167 获得该赛道第一名。
图3 重建质量提升效果对比（优化前—优化后—GT）
应用展望
人类对"留住世界"的渴望从未停止——从静态照片，到动态视频，再到可交互的三维场景，我们一直在用技术对抗时间的流逝、保存记忆的厚度。技术的每一次跃迁，都在拓宽我们记录世界的方式与边界。而如今，一项全新的技术方案——4D体积视频，让我们得以同时捕捉完整的空间与时间维度，将真实世界进行数字化复刻。借助它，我们能够像畅玩游戏一样，在场景中自由穿梭、任意探索，同时又不失真实世界的质感与细节。更令人惊叹的是，内容的观看方式被彻底解放了：你可以从任意视角切入，也可以回到任意时间节点，随心缩放空间尺度、随意切换时间轴。无论是凝视某一个细微角落，还是回放某个瞬间的变迁，都能尽在掌握。空间与时间的边界，在此刻被真正打破。
图4 从"屏幕里的世界"到"可走进的世界"——2D视频到4D体积视频的体验变革
依托这套4D重建与渲染技术底座，我们正积极推动技术落地，探索消费场景中的新可能：通过重建商品与空间场景的数字化，尝试虚实结合的3D直播应用；同时将传统2D短视频升级为4D体积视频，为C端用户打造更具交互性与沉浸感的购物体验。
图5 4D体积视频技术应用落地探索
面向未来，我们将持续深耕4D重建与渲染技术，推动其从实验室走向规模化应用：一方面加速商品与空间场景数字化落地，探索虚实结合直播等新型消费形态；另一方面以4D体积视频重塑电商内容体验，让"所见即所得"走进每一个消费者的日常，开启沉浸式交互的新篇章。
论文与相关工作
2. Yang, Zhengxian, et al. "DirectFisheye-GS: Enabling Native Fisheye Input in Gaussian Splatting with Cross-View Joint Optimization." arXiv preprint arXiv:2604.00648 (2026).
2. 挑战赛官方主页：https://zju3dv.github.io/sigasia2026-vvc/
