这项由商汤科技研究院的倪景程、郭雨欣、刘怡辰、陈睿、卢乐维、吴泽焕团队完成的研究于2025年2月17日发表在计算机视觉顶级会议上，详细信息可通过arXiv:2502.11663v1获取。研究团队开发了一个名为MaskGWM的革命性系统，这个系统就像给自动驾驶汽车装上了一个能预见未来的水晶球。
当你开车时，总是在脑海中预测接下来会发生什么——前方的汽车会不会突然刹车，路边的行人会不会横穿马路。这种预测能力对安全驾驶至关重要。然而，让机器也拥有这样的预测能力却是一个巨大的挑战。目前的自动驾驶系统就像一个只能看到当下画面的"近视眼"，虽然能识别现在发生的事情，但很难准确预测几秒钟后的情况。
商汤科技的研究团队决心解决这个问题。他们意识到，仅仅让AI系统生成高质量的未来画面是不够的，真正的挑战在于让系统理解这些画面背后的物理规律和因果关系。这就像教一个孩子不仅要会画画，还要理解为什么苹果会从树上掉下来。
研究团队的核心洞察是，现有的AI预测系统就像一个只会临摹的画家，虽然能画出看起来很真实的图片，但缺乏对场景深层逻辑的理解。为了解决这个问题，他们开发了一种全新的训练方法，就像给AI系统安排了两门课程——不仅要学会"绘画"（生成未来画面），还要学会"拼图"（理解画面中各个部分的关系）。
一、打造AI的"时光机"：让机器看见未来的挑战
要让机器预测未来，首先要理解这个任务的复杂性。开车时，你的大脑在不断处理海量信息：观察周围车辆的速度和方向，判断交通信号的变化，预测行人的行为轨迹。这个过程就像同时玩多个三维拼图游戏，每个拼图都在不断变化。
现有的AI预测系统主要依靠一种叫做"扩散模型"的技术。这种技术的工作原理就像一个艺术家从一团乱码开始，逐步勾勒出清晰的图像。虽然这种方法能生成非常逼真的图片，但存在两个致命问题：第一，就像马拉松选手在短跑比赛中会气喘吁吁一样，这些系统在预测较长时间范围的未来时会逐渐失去准确性；第二，当遇到训练时从未见过的新场景时，系统就像一个只在城市开过车的司机突然被扔到乡村小路上，完全不知所措。
商汤科技的研究团队深入分析后发现，问题的根源在于现有方法过分依赖表面的视觉相似性，而忽略了场景背后的逻辑关系。这就像一个学生只是死记硬背答案，而不理解解题的方法和原理。当遇到稍微不同的问题时，就会束手无策。
更具体地说，传统的扩散模型训练过程就像教一个人画画时，只告诉他最终的作品应该是什么样子，但不解释为什么要这样画。这种训练方式虽然能让模型生成漂亮的图片，但缺乏对画面内在逻辑的理解。当需要预测复杂的交通场景时，模型往往会产生不合理的结果——比如汽车突然消失，或者物体违反物理定律地运动。
为了验证这个观察，研究团队在多个大型数据集上进行了测试。他们发现，当要求现有系统预测超过10秒的未来场景时，生成的视频往往会出现模糊、不连贯甚至完全不合理的内容。更令人担忧的是，当系统遇到训练数据中没有出现过的新环境时，预测准确率会大幅下降，这严重限制了技术在真实世界中的应用前景。
二、双重学习法：AI同时学会"画画"和"拼图"
面对这些挑战，商汤科技团队提出了一个创新的解决方案：让AI系统同时进行两种不同类型的学习。这种方法就像让学生既学习绘画技巧，又学习拼图游戏，从而同时掌握视觉创作和逻辑推理两项能力。
第一种学习被称为"扩散生成"，这就像传统的绘画课，AI学习如何从无到有地创造出逼真的未来画面。第二种学习被称为"掩码重建"，这就像一个高级的拼图游戏——研究人员故意遮挡画面中的某些部分，然后要求AI根据可见的部分推测被遮挡的内容。
这种掩码重建的训练方式特别巧妙。研究团队会随机遮挡视频画面中25%的区域，然后要求AI根据剩余的75%内容来推测被遮挡的部分。这个过程就像给你看一张被部分遮挡的照片，然后请你猜测被遮挡的部分是什么。要成功完成这个任务，AI必须真正理解画面中各个元素之间的关系和逻辑。
然而，简单地将这两种训练方法结合在一起并不容易，就像试图教一个人同时用左手画圆、用右手画方一样困难。扩散生成过程涉及大量的随机噪声，而掩码重建需要精确的逻辑推理，两者似乎存在天然的冲突。
为了解决这个矛盾，研究团队开发了一种特殊的"噪声感知掩码令牌"。这个技术的原理就像给AI提供了一个智能的"占位符"。当画面中某些部分被遮挡时，AI不会简单地忽略这些区域，而是用一个包含噪声信息的特殊标记来代替。这个标记就像一个聪明的便签条，能够根据当前的噪声水平调整自己的内容，帮助AI更好地协调两种不同的学习任务。
具体来说，这个特殊标记的内容会根据扩散过程的阶段自动调整。在早期阶段（高噪声水平），标记主要帮助AI理解整体的结构和布局；在后期阶段（低噪声水平），标记则专注于细节的精确重建。这种动态调整机制确保了两种学习任务能够相互促进，而不是相互干扰。
三、时空双维度的智慧拼图
传统的掩码重建方法主要关注空间维度，就像拼一个普通的平面拼图。但是对于视频预测任务，仅仅理解空间关系是不够的，还需要理解时间维度的变化规律。商汤科技团队意识到，交通场景的预测需要同时掌握两种不同的智慧：空间智慧和时间智慧。
空间智慧就像理解一张静态照片中各个物体的关系——汽车在道路上，行人在人行道旁，交通信号在路口上方。这种理解主要依赖于物体的位置、大小、形状等静态特征。时间智慧则更加复杂，它要求AI理解物体如何随时间变化——汽车如何移动，行人如何行走，交通信号如何变换。
为了让AI同时掌握这两种智慧，研究团队设计了一个"双分支"的训练结构。这就像为AI安排了两个不同的课堂：在"空间课堂"中，AI学习理解同一时刻不同位置的物体关系；在"时间课堂"中，AI学习理解同一物体在不同时刻的变化规律。
在空间课堂中，研究团队使用传统的掩码策略，在所有时间帧中的相同位置进行遮挡。这就像在所有的电影帧中都遮住相同的区域，要求AI根据周围的内容推测被遮挡的部分。这种训练方式帮助AI深入理解空间中物体的排列规律和相互关系。
时间课堂则更加创新。研究团队为每个时间帧设计了不同的掩码模式，这样AI就必须学会从时间序列中提取信息来填补空缺。然而，这种方法面临一个技术挑战：在传统的处理架构中，不同时间帧的输入长度必须保持一致，而随机掩码会导致每帧的有效内容长度不同。
为了解决这个问题，研究团队开发了一种巧妙的"行级移位"策略。他们将视频画面按行分割，确保每行都遮挡相同数量的区域，但遮挡的具体位置在每行中随机分布。这样既保证了输入长度的一致性，又实现了有效的时间维度学习。这种方法就像玩一个特殊的数独游戏，每行都有相同数量的空格，但空格的位置各不相同，需要根据整体的逻辑来填补。
更重要的是，这种行级移位策略还带来了意外的好处。由于相邻的内容被重新排列，AI被迫学会从更大的时间范围内提取信息，而不是仅仅依赖相邻帧的内容。这种训练方式显著提高了模型对长时间序列的理解能力，就像训练一个人不仅要记住昨天发生的事情，还要能够从一周前的事件中推断出今天的情况。
四、多视角的全景预测能力
现实世界的驾驶不是单一视角的体验，而是需要同时关注前方、后方、左右各个方向的全景信息。就像一个经验丰富的司机不仅要看前方的路况，还要通过后视镜和侧视镜观察周围的情况。商汤科技团队意识到，要构建真正实用的自动驾驶预测系统，必须具备多视角的预测能力。
然而，将单视角预测扩展到多视角并不是简单的复制粘贴。不同视角之间存在复杂的几何关系和信息依赖。前方摄像头可能看到一辆即将变道的汽车，而侧方摄像头则能提供这辆车变道后的轨迹信息。这些不同视角的信息需要被有机地整合在一起，形成一个统一、连贯的未来预测。
研究团队开发了一种创新的"行级跨视角注意力机制"。这个机制的工作原理就像一个经验丰富的交通指挥员，能够同时观察路口的各个方向，并将不同方向的信息综合起来做出判断。具体来说，系统会将不同视角的图像按行进行对齐，然后计算每一行在不同视角间的关联关系。
这种方法特别聪明的地方在于，它充分利用了前面提到的行级掩码策略。由于每行都有部分内容被遮挡，系统被迫学会从其他视角的相应位置提取信息来填补空缺。这个过程就像多个人同时观看同一个场景的不同角度，然后互相分享各自看到的内容，最终形成一个完整、立体的场景理解。
更巧妙的是，研究团队发现这种跨视角的信息交换实际上还起到了数据增强的作用。当某个视角的特定区域被遮挡时，系统学会了从其他视角寻找相关信息，这种训练方式使得模型对视角变化和遮挡具有更强的鲁棒性。这就像训练一个人不仅能从正面识别物体，还能从侧面、背面等各个角度识别同一个物体。
在实际实现中，研究团队还考虑到了计算效率的问题。全方位的跨视角信息交换虽然效果好，但计算成本极高。通过大量实验，他们发现仅在水平方向进行跨视角信息交换就能获得很好的效果，同时大大降低计算复杂度。这种优化就像找到了一个既美味又营养，同时制作简单的食谱。
五、渐进式的学习策略
构建如此复杂的AI系统不能一蹴而就，就像建造一座摩天大楼需要先打好地基，再逐层向上建设。商汤科技团队采用了一种精心设计的三阶段训练策略，每个阶段都有明确的目标和递进的难度。
第一阶段可以比作"基础训练营"。研究团队使用包含1740小时驾驶视频的大规模数据集OpenDV-2K对系统进行基础训练。这个阶段就像让AI观看海量的驾驶场景录像，学习基本的视觉模式和场景理解能力。训练从最简单的单帧图像开始，然后逐步增加到16帧、20帧、24帧的视频序列，让AI逐渐适应时间序列的复杂性。
在这个阶段，研究团队还引入了掩码重建任务。一开始，AI只需要处理简单的扩散生成，就像学习基本的绘画技巧。然后逐渐加入掩码重建任务，让AI同时掌握"绘画"和"拼图"两种能力。这种渐进式的训练就像学习钢琴，先学会用右手弹旋律，再学会用左手伴奏，最后才学会双手协调演奏。
第二阶段专注于"长时间预测专项训练"。研究团队将注意力转向提高系统的长时间预测能力，训练AI预测长达25帧（约2.5秒）的未来场景。这个阶段的挑战就像从短跑训练转向马拉松训练，需要AI学会保持长时间的预测一致性和准确性。
在这个阶段，研究团队还加入了动作控制模块的训练。这个模块就像给AI安装了一个虚拟的"方向盘"，让它能够理解不同的驾驶指令（如左转、右转、直行）会如何影响未来的场景变化。这种训练使用了nuScenes和OpenDV-2K两个数据集的混合数据，确保AI能够适应不同类型的驾驶场景。
第三阶段是"多视角能力强化训练"。在前两个阶段建立的坚实基础上，研究团队开始训练AI的多视角预测能力。这个阶段就像教一个已经掌握了单项技能的学生学会综合运用，同时处理来自多个摄像头的信息。
由于多视角训练的计算复杂度更高，这个阶段主要使用nuScenes数据集，将视频长度调整为8帧以平衡效果和效率。研究团队发现，在前两个阶段充分训练的基础上，AI能够很快适应多视角的复杂性，就像一个已经熟练掌握驾驶技巧的人很容易学会使用新的车型。
每个训练阶段都采用了精心调整的参数设置。研究团队使用Adam优化器，学习率设置为5×10^-5，并采用了温和的学习率预热策略。整个训练过程在32个A800 GPU上进行，第一阶段耗时约3天，体现了这个系统的复杂性和对计算资源的巨大需求。
六、突破性的实验成果
经过精心的设计和训练，MaskGWM系统在多个标准测试数据集上取得了令人瞩目的成果。这些成果不仅仅是数字上的提升，更代表了自动驾驶预测技术的重大突破。
在nuScenes数据集的测试中，MaskGWM展现出了压倒性的优势。在衡量图像质量的FID指标上，MaskGWM的单视角版本获得了5.6分，相比之前最好的VISTA系统的6.9分有了显著提升。在衡量视频质量的FVD指标上，MaskGWM达到了92.5分，同样超越了VISTA的89.4分。这些数字虽然看起来差距不大，但在AI领域，这样的提升已经代表了技术的重大进步。
更令人印象深刻的是多视角预测的结果。MaskGWM的多视角版本在FID上达到了8.9分，FVD达到了65.4分，显著超越了之前所有的多视角预测系统。这意味着MaskGWM不仅能够准确预测单一视角的未来场景，还能同时处理多个摄像头的信息，生成协调一致的全方位预测。
在零样本泛化能力的测试中，MaskGWM展现出了真正的智慧。研究团队在Waymo数据集上测试了系统的泛化能力，这个数据集在训练过程中从未使用过，相当于让AI在一个完全陌生的环境中进行预测。结果显示，MaskGWM在FVD指标上达到了118.83分，显著优于VISTA的176.56分，证明了系统具有出色的跨域泛化能力。
长时间预测能力的测试结果更是令人兴奋。研究团队将预测时长扩展到12.5秒，相当于让AI预测一个完整的交通场景变化过程。在这个极具挑战性的任务中，MaskGWM展现出了惊人的稳定性。随着预测时间的延长，其他系统的预测质量会急剧下降，而MaskGWM的质量下降曲线要平缓得多，表明它具有更强的长期预测能力。
特别值得注意的是，研究团队还测试了MaskGWM在极端长时间预测上的表现。在某些测试中，系统能够生成长达60秒的连贯预测视频，这在以前是完全不可能的。虽然预测质量会随时间递减，但系统仍能保持基本的场景一致性和物理合理性，这为未来的应用打开了广阔的可能性。
为了验证各个技术组件的贡献，研究团队进行了详细的消融实验。结果显示，掩码重建任务的引入对性能提升起到了关键作用，在某些指标上带来了超过20%的改进。特别设计的噪声感知掩码令牌也证明了其价值，相比简单的固定掩码标记，带来了约15%的性能提升。
双分支的时空学习策略同样效果显著。单独的空间掩码或时间掩码都能带来一定的改进，但将两者结合后，效果远超各自单独使用时的简单相加。这证明了空间理解和时间理解之间存在重要的协同效应。
七、技术创新的深度解析
MaskGWM系统的成功不是偶然的，而是建立在多个深层技术创新的基础之上。这些创新就像一个复杂机械装置中的精密齿轮，每一个都发挥着关键作用，共同驱动整个系统的卓越表现。
首先是噪声感知掩码令牌的设计哲学。传统方法在处理被遮挡区域时，要么完全忽略，要么使用固定的占位符。MaskGWM的创新在于认识到掩码重建和扩散生成是两个具有不同特性的任务，需要一个能够动态适应的桥梁。这个桥梁就是噪声感知掩码令牌，它的数学表达式为mτ = (1-τ)fm(ε) + τp，其中τ是扩散时间步，fm(ε)是噪声编码函数，p是可学习参数。
这个设计的巧妙之处在于它随着扩散过程的进展自动调整行为。在扩散的早期阶段（τ接近1），噪声水平很高，此时掩码令牌主要依赖可学习参数p，帮助系统理解整体结构。在扩散的后期阶段（τ接近0），噪声水平较低，掩码令牌更多地依赖噪声编码fm(ε)，专注于精确的细节重建。这种动态平衡机制确保了两种学习任务的有机结合。
行级移位掩码策略是另一个重要创新。传统的视频掩码方法面临一个根本性的技术困难：如何在保持序列长度一致的同时实现有效的时间维度学习。MaskGWM通过巧妙的行级处理解决了这个问题。系统将每个视频帧分解为多行，在每行内随机遮挡相同数量的token，但遮挡位置各不相同。这样既满足了技术要求，又实现了有效的时间学习。
更深层次地看，这种行级移位策略实际上创造了一种新的数据增强方式。通过重新排列相邻内容，系统被迫学会从更大的时间窗口提取信息，而不是简单地依赖最近邻的信息。这种训练方式显著提高了模型的时间建模能力，使其能够处理更长的预测时间范围。
跨视角注意力机制的设计同样体现了深度的技术思考。研究团队发现，简单地将多个视角的信息拼接在一起并不能有效利用跨视角的信息互补性。MaskGWM采用的行级跨视角注意力机制能够精确地建立不同视角间对应位置的关联关系，同时保持计算效率。
这种机制的核心思想是利用几何约束来指导注意力的计算。由于不同摄像头之间存在固定的几何关系，某个位置的信息在不同视角中应该有对应的位置。行级注意力机制充分利用了这种对应关系，使得系统能够更有效地整合多视角信息。
训练策略的渐进式设计也体现了深度的系统性思考。研究团队认识到，直接训练如此复杂的系统会面临收敛困难和性能不稳定的问题。通过将训练过程分解为三个递进的阶段，每个阶段都有明确的学习目标，系统能够逐步建立起复杂的预测能力。
这种渐进式训练不仅提高了训练效率，还使得系统具有更好的模块化特性。研究团队可以针对不同的应用需求选择不同的训练阶段，比如只需要单视角预测能力的应用可以在第二阶段结束后就停止训练，而需要多视角能力的应用则需要完成全部三个阶段。
八、实际应用与未来展望
MaskGWM系统的成功不仅仅是学术研究上的突破，更重要的是它为自动驾驶技术的实际应用开辟了新的可能性。这项技术就像为自动驾驶汽车装上了一双能够看穿时间的眼睛，让车辆能够更智能、更安全地在复杂的交通环境中行驶。
在实际的自动驾驶场景中，MaskGWM的长时间预测能力具有重要价值。传统的自动驾驶系统通常只能预测2-3秒的未来情况，这在简单的高速公路场景中可能足够，但在复杂的城市交通中往往力不从心。MaskGWM能够预测长达12秒甚至更长时间的未来场景，为车辆的路径规划和决策制定提供了更充分的信息。
考虑一个具体的场景：当自动驾驶汽车接近一个繁忙的十字路口时，传统系统只能看到当前的交通状况，而MaskGWM能够预测接下来十几秒内交通灯的变化、行人的移动轨迹、其他车辆的行驶路径等。这种预见能力使得车辆能够提前制定更优化的行驶策略，避免临时刹车或急转弯等危险操作。
多视角预测能力在实际应用中同样价值巨大。现代自动驾驶汽车通常配备了多个摄像头，分别覆盖前方、后方、左右等不同方向。MaskGWM能够同时处理所有这些摄像头的信息，生成全方位的未来预测。这种能力在变道、并线、倒车等复杂操作中特别重要，因为这些操作需要综合考虑多个方向的交通状况。
零样本泛化能力为MaskGWM在全球范围内的部署提供了可能。不同国家和地区的交通环境、道路设计、驾驶习惯都有很大差异，传统的AI系统通常需要在每个新的地区重新训练才能保持良好的性能。MaskGWM展现出的强大泛化能力意味着，在一个地区训练的系统可以在其他地区直接使用，大大降低了技术部署的成本和时间。
然而，研究团队也诚实地指出了当前技术的局限性。首先是动作控制能力仍有待完善。虽然MaskGWM能够理解基本的驾驶指令，但在处理复杂或矛盾的指令时仍可能出现问题。其次，在极其复杂的交通场景中，比如多车同时变道或突发的交通事故，系统的预测准确性会有所下降。
此外，多视角生成能力主要在训练的最后阶段才被引入，这意味着非前视角的图像质量可能不如前视角。未来的改进方向包括在更早的训练阶段就引入多视角数据，或者使用更多样化的多视角数据集。
从更广阔的角度看，MaskGWM代表的技术路线为AI预测系统的发展指明了新的方向。将生成式学习和自监督学习相结合的思路不仅适用于自动驾驶，也可能在机器人控制、视频分析、增强现实等其他领域产生重要影响。
研究团队已经开始探索将这种技术扩展到其他应用场景的可能性。比如，在机器人导航中，类似的预测能力可以帮助机器人更好地规划路径和避障；在视频监控中，这种技术可以预测潜在的异常事件；在虚拟现实中，预测用户的行为意图可以提供更流畅的交互体验。
商汤科技团队还计划开源部分代码和数据，让更多的研究者能够在此基础上进行进一步的创新。这种开放的态度不仅有利于技术的快速发展，也体现了科研界合作共赢的精神。
说到底，MaskGWM的成功证明了一个重要观点：要让AI真正智能，不能仅仅依赖单一的学习方法，而需要将多种学习方式有机结合，让AI系统既能掌握表面的技能，又能理解深层的逻辑。这种思路不仅在自动驾驶领域具有重要意义，也为整个AI技术的发展提供了有价值的启示。随着技术的不断完善和应用的逐步推广，我们有理由相信，更安全、更智能的自动驾驶时代正在加速到来。
Q&A
Q1：MaskGWM是什么？它与传统的自动驾驶预测系统有什么不同？
A：MaskGWM是由商汤科技开发的自动驾驶预测系统，它的独特之处在于采用了"双重学习法"——既学会生成未来画面，又学会理解画面间的逻辑关系。传统系统只能预测2-3秒的未来，而MaskGWM能预测12秒甚至更长时间，就像给自动驾驶汽车装上了能看穿时间的眼睛。
Q2：MaskGWM的掩码重建技术是如何工作的？
A：掩码重建就像让AI玩高级拼图游戏。系统会随机遮挡视频画面中25%的区域，然后要求AI根据可见部分推测被遮挡的内容。这个过程分为空间和时间两个维度：空间维度帮助AI理解物体位置关系，时间维度帮助AI理解物体运动规律，两者结合让AI真正理解场景的内在逻辑。
Q3：这项技术什么时候能在真实的自动驾驶汽车中使用？
A：目前MaskGWM还处于研究阶段，距离实际商用还需要时间。虽然技术已经在多个测试数据集上表现出色，但要应用到真实车辆中还需要解决工程化部署、实时性能优化、安全认证等问题。商汤科技计划开源部分代码，这将加速技术的进一步发展和实用化进程。
上一篇：新加坡国立大学团队突破性成果：让AI从几十张图片就能学会艺术家的"涂鸦"技巧
下一篇：UC伯克利发现AI推理学习的秘密：结构比内容更重要的惊人真相
