这项由清华大学计算机系、人工智能研究院以及清华-博世联合机器学习中心领导的研究发表于2026年2月的ICML会议论文集，论文编号为arXiv:2602.07854v2，有兴趣深入了解的读者可以通过该编号查询完整论文。
当你在玩一款开放世界游戏时，从高塔上眺望远山，然后转身离开，过了很久又回到同一个位置，你会发现那座山依然在那里，一模一样。但如果让现在的AI来生成这样的游戏画面，情况就完全不同了——当你的视角重新回到原来的位置时，AI可能会"忘记"原来的山长什么样，甚至生成出完全不同的景象，就像患了严重的"失忆症"。
这个问题听起来似乎只是技术细节，但实际上它阻碍了真正智能的交互式AI世界的诞生。设想一下，如果AI无法记住你之前看到的场景，那么它就无法创造出真正连贯、可信的虚拟环境。这就像一位健忘的导游，每次带你重新走过同一条路时，都会指着相同的建筑说出完全不同的介绍。
清华大学的研究团队深入分析了这个"失忆"现象的根本原因，发现问题出在AI理解空间位置的方式上。现有的AI系统主要依赖屏幕坐标来理解位置关系，就像只看二维地图而不理解真实的三维地理关系。当摄像头转动时，同一个真实物体在屏幕上的位置会发生巨大变化，这让AI无法识别出它们实际上是同一个东西。
为了解决这个根本性问题，研究团队提出了一个巧妙的解决方案：ViewRope。这个技术的核心思想是让AI不再只关注屏幕上的位置，而是理解每个画面区块对应的真实观察方向。就像给AI装上了一副特殊的眼镜，让它能够理解"我现在正在朝哪个方向看"，而不仅仅是"这个像素在屏幕的什么位置"。
这种方法就像教会AI使用指南针一样。传统方法相当于告诉AI"向左走三步，向右走两步"，但一旦AI转了个身，这些指令就完全失效了。而ViewRope的方法则是告诉AI"朝北走向那座山，朝南走向那条河"，无论AI如何转身，它都能准确找到目标位置。
一、重新定义AI的"空间感"：从屏幕坐标到真实方向
传统的视频生成AI就像一个只会看平面地图的机器人。当你给它一张照片，它会记住"左上角有棵树，右下角有座房子"，但它并不真正理解这棵树和房子在真实三维空间中的位置关系。当摄像头稍微转动一个角度，这棵树可能就从左上角移动到了中间，房子从右下角移动到了左边，AI就完全糊涂了，不知道这还是不是同样的场景。
这种困惑就像一个人只认识自己家附近街道的门牌号，却不知道这些街道在城市中的实际方位。当他从不同方向走向同一条街时，就会完全迷失方向。研究团队意识到，要让AI拥有持久的空间记忆，就必须教会它理解真正的三维空间关系。
ViewRope技术的革新在于将每个画面区块与其对应的真实观察方向建立联系。简单来说，就是为画面中的每一小块区域都标注上"这块区域对应的是朝哪个方向看到的景象"。这样，无论摄像头如何移动和转动，AI都能通过这些方向信息找到对应的内容。
具体的实现过程相当精妙。系统首先计算出画面中每个区块对应的观察射线，就像从摄像头位置射向真实世界中某个点的一条直线。然后，系统使用这些射线的方向信息来调整AI内部的注意力机制。传统方法中，AI的注意力主要基于"这两个像素在屏幕上离得近不近"，而新方法则基于"这两个区块看向的方向是否指向同一个真实位置"。
这种改进带来了根本性的变化。当AI需要生成新的画面时，它不再只是简单地复制邻近像素的内容，而是能够智能地检索那些观察方向相似的历史内容。即使这些历史内容在之前的画面中位于完全不同的屏幕位置，AI也能准确地识别和利用它们。
二、让AI学会"有选择性地回忆"：几何感知的记忆检索
有了方向感还不够，AI还需要学会如何有效地管理和检索记忆。就像人类的记忆一样，我们不可能记住所有细节，但会在需要的时候调取最相关的记忆片段。研究团队为AI设计了一套"几何感知的帧稀疏注意力"机制，让AI能够从海量的历史画面中精准地找到最相关的记忆。
这个过程就像一位经验丰富的摄影师整理照片集。当他需要找到某个特定角度拍摄的照片时，他不会逐一翻看所有照片，而是会根据拍摄方向、距离等几何信息快速定位到相关的几张照片。AI的记忆检索机制也采用了类似的策略。
系统会对历史画面进行几何相关性评估，计算每一帧历史画面与当前需要生成的画面之间的视角相似度。这个过程不需要复杂的计算，只需要采样少量的代表性区块，计算它们的方向相似性，就能快速评估整帧画面的相关性。
基于这个相关性评估，系统会选择最相关的几帧历史画面作为参考，而忽略那些不相关的内容。这种选择性记忆不仅提高了生成质量，还大大降低了计算成本。相比于需要处理所有历史信息的传统方法，这种稀疏注意力机制将计算复杂度从平方级降低到线性级，使得处理长序列视频变得可行。
更重要的是，这种选择是基于几何理解的智能选择，而不是简单的时间距离或随机选择。系统能够跨越很长的时间间隔，准确地找到在空间上相关的历史内容。即使某个场景在很久之前就出现过，只要观察方向匹配，系统就能准确地检索和利用这些信息。
三、循序渐进的训练策略：让AI逐步适应复杂环境
为了让AI能够稳定地掌握这种新的空间理解能力，研究团队设计了一个四阶段的渐进训练策略。这个过程就像教孩子学习空间认知一样，需要从简单到复杂，循序渐进。
第一阶段是基础适应训练，系统在相对简短的视频片段上学习基本的自回归生成能力。这就像先教孩子认识房间内的物品位置，建立最基本的空间概念。在这个阶段，系统主要学习如何在已知上下文的情况下生成连贯的下一帧画面。
第二阶段引入ViewRope的几何编码机制。系统开始学习理解观察方向与画面内容之间的对应关系。这个过程仍然在相对简单的场景中进行，让系统能够专注于掌握几何对应关系，而不被复杂的长序列问题干扰。就像在学会在熟悉的小范围内使用指南针定位。
第三阶段激活帧稀疏注意力机制。系统开始学习如何从历史信息中选择性地检索相关内容。这个阶段的挑战在于平衡计算效率和检索精度，确保系统能够在保持高质量生成的同时适应更长的序列。
第四阶段是长序列训练，系统在大幅延长的视频序列上训练，真正测试其长期记忆和一致性维持能力。这个阶段相当于让已经掌握基本技能的AI在真实复杂的环境中接受实战训练。
这种渐进式训练策略的关键在于每个阶段都有明确的学习目标，避免了同时学习多个复杂技能导致的训练不稳定。实验结果表明，这种策略比直接在复杂任务上训练更加稳定和有效。
四、ViewBench测试基准：专门检验AI的"记忆力"
为了客观评估AI的空间记忆能力，研究团队专门构建了ViewBench测试基准。这个基准的设计理念是专门检测AI是否能够在重新访问同一位置时保持一致的场景生成能力。
ViewBench包含了十个不同风格的虚拟环境，从室内购物中心到户外城市废墟，从中国风小巷到罗马风建筑，涵盖了各种几何复杂度和视觉风格。这种多样性确保了测试结果的普遍性，就像一个全面的视力检查需要测试各种距离和光线条件一样。
测试的核心设计是"环形轨迹"，即摄像头从某个起始位置出发，经过一系列复杂的移动和旋转，最终回到原始位置。这种设计直接对应了现实中的循环探索行为，比如在游戏中探索一个区域后回到起点，或者在虚拟旅游中重新访问同一个景点。
与现有测试基准的最大区别在于，ViewBench不仅测试生成画面的整体质量，更重要的是测试"回环一致性"。系统会比较起始画面和回到原点时的生成画面，计算它们之间的差异。这种测试方式能够直接量化AI的空间记忆准确性。
测试涵盖了完整的三轴旋转能力，包括水平转动、垂直倾斜和镜头翻滚，以及它们的各种组合。这种全方位的测试确保了AI在各种观察角度变化下都能保持稳定的性能。每种测试配置都包含多个角度幅度，从30度的小幅调整到180度的大幅转动，全面评估系统在不同挑战级别下的表现。
五、实验验证：从"失忆"到"记忆超群"
实验结果令人印象深刻，ViewRope在各项测试中都展现出了显著的改进。在30度旋转的相对简单场景中，新方法将回环一致性错误降低了4%。更重要的是，随着旋转角度的增加，ViewRope的优势变得更加明显，在75度旋转中保持了相似的改进幅度。
为了验证几何感知注意力机制的有效性，研究团队进行了对比实验。他们分别测试了随机选择历史帧和故意排除系统选中的重要帧这两种情况。结果显示，随机选择导致25.2%的性能下降，而排除重要帧的影响更严重，达到38.1%的性能损失。这个对比实验清楚地证明了系统确实学会了识别真正重要的几何对应关系。
在计算效率方面，稀疏注意力机制在201帧序列的训练中将每次迭代的时间从27.66秒降低到22.01秒，实现了约25%的加速。这种效率提升在更长序列中会更加明显，为实际应用奠定了基础。
研究团队还通过注意力图可视化展示了系统内部的工作机制。可视化结果显示，不同的注意力头确实分化出了不同的功能：一些专注于时间连续性，另一些则专注于几何对应关系。更有趣的是，几何感知的注意力头在处理回环场景时会表现出跨越长时间间隔的激活模式，准确地连接了时间上远离但空间上对应的内容。
与现有的顶级交互式世界模型系统相比，ViewRope在各个角度级别都展现出了一致的优势。在30度旋转中，系统比HY-WorldPlay降低了6.5%的回环错误；在45度中降低了7.9%；在75度中的优势更是达到了11.4%。这种随角度增加而增大的优势表明，几何理解在处理复杂空间变换时具有根本性的价值。
六、深入机制：让AI"看见"不可见的几何关系
ViewRope技术的精巧之处在于它如何将抽象的几何关系转化为AI可以处理的数学操作。整个过程始于对每个画面区块计算其对应的观察射线。这个射线代表了从摄像头位置指向真实世界中某个点的方向向量。
系统使用摄像头的内参矩阵将屏幕坐标转换为归一化的方向向量，然后结合摄像头的外参矩阵将这个方向向量转换到世界坐标系中。这个过程确保了即使摄像头移动和旋转，同一个真实世界点对应的方向信息保持一致的几何意义。
在注意力计算中，系统不再使用传统的查询-键值点积，而是使用经过几何旋转变换的特征向量。具体来说，系统将查询和键值向量的一部分通道组织成3D子向量，然后用对应的观察方向旋转矩阵对这些子向量进行旋转操作。
这种旋转操作的巧妙之处在于，当两个画面区块观察同一个真实世界位置时，它们经过旋转后的特征向量会趋向于对齐，从而产生更高的注意力权重。相反，即使两个区块在屏幕空间中相邻，如果它们观察的是不同方向的内容，其注意力权重就会相对较低。
稀疏注意力的实现采用了分块策略，每个块对应一个完整的视频帧。系统通过采样少量代表性像素来估计整个块之间的几何相关性，避免了计算所有像素对的巨大开销。这种采样策略在保持精度的同时大大降低了计算复杂度。
为了进一步优化性能，系统采用了因果约束来确保在线生成的实时性。在训练阶段，系统使用teacher-forcing策略，利用真实的历史帧作为参考；在推理阶段，系统维护一个动态的键值缓存，只包含之前生成的帧，确保了生成过程的因果性。
七、技术细节：在工程实现中的巧妙平衡
在实际实现中，研究团队面临了一个关键的设计选择：如何在现有的3D RoPE架构中集成ViewRope而不破坏原有的功能。他们的解决方案体现了工程设计的智慧。
原始模型将位置编码分为时间、高度、宽度三个维度，分别占用44、42、42个特征通道。研究团队测试了四种不同的集成策略：在时间维度的低频段嵌入、在空间维度的低频段嵌入、替换部分空间维度编码，以及分布到所有维度。
实验结果显示，在时间维度的低频段嵌入ViewRope能够获得最佳性能。这个发现很有意思：时间维度似乎为几何信息提供了最合适的"栖息地"。研究团队推测这是因为几何关系本质上是跨时间的对应关系，与时间编码有天然的兼容性。
在检索帧数的选择上，系统默认选择5帧历史参考。研究团队发现这是一个性能和效率的最佳平衡点。增加参考帧数量可以提升视觉质量指标，但对几何一致性的帮助有限，甚至可能因为引入噪声而产生负面影响。这个发现提醒我们，在AI系统中，"更多"并不总是"更好"。
系统的训练过程采用了AdamW优化器，学习率设置为5×10^-5，在16块NVIDIA A100 GPU上训练约2天。训练数据混合了三个来源：Context-as-Memory数据集、GF-Minecraft数据集和新构建的ViewBench数据集，按1:1:1的比例采样。这种数据混合策略确保了系统在多样化场景中的泛化能力。
八、挑战与局限：技术边界的坦诚审视
尽管ViewRope取得了显著进展，但研究团队也坦诚地指出了当前技术的局限性。最主要的挑战出现在处理大角度旋转场景时，特别是90度和180度的极限情况。
在这些极限场景中，系统的表现不如某些专门优化的竞争方法。研究团队分析认为这主要源于两个系统性问题。第一个问题是评估帧率不匹配：为了在固定长度内完成大角度旋转，系统需要处理比训练时更快的角速度变化，这导致了累积误差。
第二个问题是teacher-forcing训练模式的固有局限。在训练时，系统总是能够访问真实的历史帧作为参考，但在实际生成时，系统必须依赖自己之前生成的可能有误差的帧。随着序列长度的增加，这种误差会逐渐累积，最终影响整体质量。
系统在处理剧烈场景转换时也存在困难。比如从一个房间移动到完全不同的另一个房间，几何对应关系变得微弱甚至不存在。在这种情况下，基于几何的记忆检索机制就失去了优势，系统需要依赖其他机制来处理这种不连续的转换。
研究团队还注意到，当前的方法主要依赖相机参数的准确标定。在实际应用中，相机参数的估计误差可能会影响几何计算的精度，进而影响整体性能。如何在参数不准确的情况下保持鲁棒性是一个需要进一步研究的问题。
九、未来展望：从技术突破到实际应用
ViewRope技术的影响远不止于解决一个技术问题。它为创建真正智能的交互式虚拟世界奠定了基础。在游戏产业中，这种技术可能革命性地改变程序化内容生成的方式，让AI能够创造出具有空间一致性的无限世界。
在虚拟现实和增强现实应用中，ViewRope的价值更加明显。当用户在虚拟环境中自由探索时，系统需要确保从任何角度重新观察同一位置时都能看到一致的内容。这对于创造沉浸式体验至关重要。
教育应用也充满潜力。想象一个虚拟历史博物馆，学生可以从任何角度反复观察历史文物，每次都能看到一致的细节。或者在虚拟科学实验室中，学生可以多次回到同一个实验设置，进行重复观察和学习。
研究团队指出了几个重要的发展方向。首先是与显式3D建模技术的结合，可能创造出兼具几何精确性和生成灵活性的混合系统。其次是通过强化学习等后训练技术来进一步优化动态场景的处理能力。
另一个有趣的方向是将这种几何感知能力扩展到其他感官模态。比如，在生成虚拟环境的音频时，也可以利用空间几何关系来确保声音的方向性和一致性。这可能导致真正的多感官一致性虚拟环境。
从更广泛的角度来看，ViewRope代表了AI从简单的模式匹配向真正空间理解的重要进步。这种进步可能激发更多关于如何让AI理解物理世界结构的研究，最终推动更智能、更可靠的AI系统的发展。
说到底，ViewRope解决的不仅仅是一个技术问题，更是AI理解世界方式的根本性改进。它让AI从一个只会复制表面现象的系统，进化成了一个能够理解空间关系、具备持久记忆的智能体。虽然当前的技术还存在一些局限，但它为创造更智能、更可靠的AI视频生成系统指明了方向。对于普通用户来说，这意味着未来我们可能会看到更加真实、一致的AI生成内容，无论是在游戏、教育还是娱乐应用中。这项研究提醒我们，真正的AI智能不仅需要强大的生成能力，更需要对世界结构的深入理解。
Q&A
Q1：ViewRope技术是什么？
A：ViewRope是清华大学开发的一种让AI视频生成具备"空间记忆"的技术。它的核心是让AI理解每个画面区块对应的真实观察方向，而不仅仅是屏幕位置。这样当摄像头回到之前的位置时，AI能够生成一致的画面内容，解决了传统AI视频生成中的"失忆"问题。
Q2：ViewRope如何解决AI视频生成中的几何不一致问题？
A：传统AI只关注屏幕坐标位置，当摄像头转动时就会混淆。ViewRope通过计算每个画面区块的真实观察射线方向，让AI的注意力机制基于几何关系而非屏幕位置来工作。即使同一物体在不同时间出现在屏幕的不同位置，AI也能通过观察方向准确识别和复用相关内容。
Q3：ViewBench测试基准有什么特殊之处？
A：ViewBench专门测试AI的空间记忆能力，采用"环形轨迹"设计让摄像头从起点出发经过复杂移动后回到原位，然后比较起始画面和返回画面的一致性。它包含10个不同风格的虚拟环境，支持完整的三轴旋转测试，能够直接量化AI在重复访问同一位置时的记忆准确性。
上一篇：哈佛大学联合斯坦福开发预测量表：AI算力投入多少，性能表现就能预测多少
下一篇：机器人不再机械：上海交通大学联合多机构破解机器人动作不连贯难题
