这项由上海AI实验室的杜聚森、孙维高等研究人员联合南京大学、华南理工大学、香港科技大学（广州）以及香港中文大学共同完成的突破性研究，于2025年5月发表在计算机科学领域的顶级预印本平台arXiv上（论文编号：arXiv:2502.13685v2）。有兴趣深入了解技术细节的读者可以通过https://github.com/OpenSparseLLMs/MoM获取完整代码和论文资料。
当我们试图记住一大堆信息时，经常会发现新记住的内容会把之前的记忆"挤掉"。比如你刚背完英语单词，再去背数学公式时，可能就会忘记刚才记的单词。现在的人工智能系统也面临着类似的困扰。目前主流的AI模型在处理长文本时，就像只有一个小书包的学生，装进新书就得扔掉旧书，导致重要信息不断丢失。
这个问题在AI领域被称为"记忆干扰"。当前的线性序列模型（一种让AI处理文本更高效的技术）虽然在计算速度上有显著优势，但它们就像只有一个记忆抽屉的大脑，新信息进来时会覆盖掉旧信息，在需要回忆大量历史信息的任务中表现很差。
为了解决这个难题，上海AI实验室的研究团队从人类大脑的工作方式中获得了灵感。他们发现，人类大脑的海马体中存在一种神奇的机制：不同频率的脑电波（θ波和γ波）协同工作，就像一个精密的时间管理系统，让不同类型的记忆分别储存在不同的"神经小组"中，避免了记忆之间的相互干扰。
基于这个生物学发现，研究团队开发了一种全新的AI架构，取名为"记忆混合体"（Mixture-of-Memories，简称MoM）。这就像给AI装上了多个独立的记忆仓库，每个仓库专门负责储存特定类型的信息，并且配备了一个智能"仓库管理员"，负责决定哪些新信息应该放到哪个仓库里。
一、多仓库记忆系统：告别信息覆盖的烦恼
传统的AI记忆系统就像一个容量固定的水杯，新倒入的水会让原来的水溢出。而MoM系统则像拥有了多个专用的储物柜，每个柜子都有自己的专门用途，新信息会被智能分配到最合适的柜子里。
这个系统的核心是一个被称为"路由器"的智能分配机制。路由器就像一个经验丰富的图书管理员，当新书（信息）到来时，它会迅速判断这本书的类型和内容，然后决定应该放到哪个书架（记忆状态）上。研究团队采用了一种"前k个最重要"的策略，也就是说，每条新信息会被同时放到几个最相关的记忆仓库中，而不是只放在一个地方。
具体来说，当一条新信息进入系统时，路由器会计算出这条信息与各个记忆仓库的匹配程度，然后选择匹配度最高的几个仓库来存储这条信息。这种方式确保了重要信息不会因为仓库容量不足而丢失，同时也避免了不相关信息之间的相互干扰。
每个记忆仓库都拥有独立的"钥匙"和"价值"投影机制。这里的"钥匙"可以理解为信息的索引标签，而"价值"则是信息的具体内容。当需要提取某个信息时，系统会使用相应的钥匙来快速定位到存储该信息的仓库，然后提取出对应的价值信息。
为了进一步优化性能，研究团队还引入了一个"共享记忆"机制。这个共享记忆就像一个公共图书馆，存储着对所有任务都有用的通用知识和长期信息。每当系统需要做出决策时，它会同时查阅专用记忆仓库和共享记忆库中的信息，然后将这些信息进行智能混合，得出最终的结果。
二、仿生学启发的神经编码机制
人类大脑处理多项记忆的方式给了研究团队重要启发。在大脑的海马体中，存在着一种精妙的"θ-γ振荡"机制。简单来说，这就像一个节拍器系统：θ波提供主要节拍，而在每个θ节拍内，又细分出多个γ子节拍。每个γ子节拍激活一组特定的神经元，这样就能让不同的记忆内容在时间上错开处理，避免相互干扰。
这种机制被称为"E%-max"选择机制，意思是在每个时间段内，只有特定比例的神经元会被激活，其他神经元保持休眠状态。这样做的好处是，不同类型的信息会被分配到不同的神经元组进行处理，就像一个合唱团中不同声部在不同时间点演唱，创造出和谐的整体效果。
MoM系统将这种生物机制转化为计算机算法。在MoM中，输入的信息序列被分成若干个子序列，每个子序列被分配给特定的记忆处理单元。这些处理单元就像大脑中的"神经元群组"，它们并行工作，各自负责处理分配给自己的信息类型。
这种设计的巧妙之处在于，它既保持了并行处理的效率优势，又避免了传统单一记忆系统中新旧信息相互覆盖的问题。每个记忆单元都有自己的"专业领域"，就像专科医生一样，在自己的领域内能够提供最优质的服务。
三、智能路由决策：让信息找到最佳归属
MoM系统的路由机制可以比作一个超级智能的邮局分拣员。当大量邮件（信息）涌入时，这个分拣员能够迅速判断每封邮件的内容和重要程度，然后决定应该投递到哪些邮箱（记忆仓库）中。
路由器的工作原理相对简单但十分有效。它首先对每条输入信息进行分析，生成一组重要性评分。这些评分反映了这条信息与各个记忆仓库的相关程度。然后，系统会选择评分最高的k个记忆仓库来存储这条信息。这里的k通常设置为2，意思是每条信息会被存储在两个最相关的记忆仓库中。
这种"一对多"的存储策略带来了几个重要好处。首先，它提供了信息冗余保护，即使某个记忆仓库出现问题，信息也不会完全丢失。其次，它允许不同记忆仓库从不同角度理解同一条信息，丰富了系统对信息的理解深度。最后，它确保了重要信息能够被多个相关模块访问，提高了信息检索的成功率。
路由决策完成后，被激活的记忆仓库会开始更新自己的内容。每个仓库都使用类似于循环神经网络的更新机制，新信息会与仓库中的现有信息进行融合，生成更新后的记忆状态。这个过程就像往已有的知识体系中添加新的章节，既保留了原有知识的价值，又融入了新的见解。
值得注意的是，未被激活的记忆仓库会保持原有状态不变，这就避免了不相关信息对这些仓库造成的干扰。这种选择性更新策略是MoM系统能够有效解决记忆干扰问题的关键所在。
四、记忆融合技术：化多为一的智慧输出
当系统需要产生输出时，面临的挑战是如何将多个记忆仓库中的信息有效整合起来。这就像一个乐队指挥需要协调不同乐器的演奏，创造出和谐统一的音乐作品。
MoM系统采用了一种加权融合的策略。系统会根据当前查询的特点，计算出各个记忆仓库的重要性权重，然后按照这些权重将不同仓库的信息进行混合。这个过程可以想象成调制鸡尾酒：调酒师会根据顾客的喜好，调整不同酒类的比例，最终调出符合要求的饮品。
具体的融合过程分为几个步骤。首先，查询向量（相当于问题或需求的表示）会与每个激活的记忆仓库进行交互，产生初步的响应。然后，这些初步响应会根据之前路由器计算出的重要性权重进行加权平均。最后，系统还会将共享记忆库的信息融入其中，形成最终的输出。
这种融合机制的优势在于它能够充分利用各个记忆仓库的专业知识，同时避免某个仓库的错误信息对整体结果造成过大影响。通过权重调节，系统可以让最相关、最可靠的记忆仓库在最终决策中发挥更大作用。
为了进一步提升融合效果，研究团队还引入了一些优化技术，比如遗忘门控机制。这个机制允许系统主动"忘记"一些过时或不重要的信息，为新信息腾出存储空间。这就像定期清理书架，把已经过时的书籍移走，为新书留出位置。
五、兼容性设计：与现有技术的完美融合
MoM系统的一个重要优势是它具有极强的兼容性，可以与现有的各种线性序列建模方法无缝结合。这就像设计了一个通用的插件，可以装在不同品牌和型号的设备上，立即提升设备的性能。
研究团队在设计MoM时特意保持了与现有技术的接口兼容性。无论是线性注意力机制、状态空间模型，还是线性循环神经网络，都可以很容易地集成MoM的多记忆架构。这种设计philosophy意味着研究人员和工程师不需要从零开始重建系统，只需要在现有架构基础上添加MoM模块即可。
在具体实现上，MoM支持多种不同的记忆更新规则。比如，它可以使用简单的线性注意力更新，也可以使用更复杂的门控机制或梯度下降优化。研究团队在论文中详细列举了十多种不同的更新规则，展现了MoM架构的灵活性和适应性。
这种兼容性设计还体现在计算效率的保持上。虽然MoM使用了多个记忆仓库，但每个仓库的计算复杂度仍然保持线性，这意味着整个系统依然享有线性序列建模的效率优势。在训练阶段，系统的时间复杂度为O(n)，在推理阶段更是达到了O(1)的常数复杂度。
为了方便实际部署，研究团队还开发了高效的并行实现技术。通过巧妙的数学变换，MoM可以复用现有的高度优化的计算库和硬件加速器，确保在实际应用中能够达到预期的性能表现。
六、实验验证：全方位性能评估展现卓越效果
为了验证MoM系统的实际效果，研究团队设计了一系列全面的实验，涵盖了从基础语言理解到复杂推理任务的各个方面。实验规模相当庞大，涉及了从3.4亿参数到13亿参数的不同规模模型，训练数据量从150亿到1000亿个文本单元不等。
在回忆密集型任务的测试中，MoM表现出了显著的优势。这类任务就像是给AI出了一道"开卷考试"，需要它在大量文档中找到特定信息并给出答案。传统的线性模型在这类任务上往往表现不佳，因为它们的单一记忆系统很难同时保存所有相关信息。而MoM通过多仓库设计，能够更好地保存和检索历史信息。
在FDA文档分析任务中，MoM的得分达到了22.98分，而最好的基线方法只有20.53分。在SWDE网页信息提取任务上，MoM更是取得了29.90分的好成绩，相比基线方法提升了近30%。这些数字背后反映的是MoM在处理长文档和复杂信息检索时的卓越能力。
常识推理任务的结果同样令人印象深刻。在这类测试中，AI需要运用常识知识来回答问题或完成推理。MoM在多个基准测试上都取得了最佳成绩，在某些任务上甚至接近了传统Transformer模型的性能水平。这个结果特别有意义，因为Transformer虽然性能强大，但计算成本高昂，而MoM在保持线性计算复杂度的同时，实现了接近的性能。
长文本理解能力测试进一步证实了MoM的优势。在LongBench基准测试中，MoM在代码补全任务上获得了47.79分，显著超过了其他线性模型。这个结果表明，MoM不仅在自然语言处理方面表现出色，在代码理解和生成方面也展现出了强大的潜力。
七、效率优势：速度与性能的双重突破
除了准确性提升，MoM在计算效率方面也展现出了显著优势。研究团队进行了详细的效率对比实验，结果显示MoM在处理长序列时具有明显的速度和内存优势。
在序列长度为32K个文本单元时，传统Transformer模型已经需要消耗大量GPU内存，处理速度也变得非常缓慢。而MoM系统依然能够保持线性的内存使用增长和稳定的处理速度。当序列长度增加到512K时，Transformer模型基本无法正常运行，但MoM仍能正常工作。
这种效率优势的根源在于MoM巧妙的架构设计。虽然使用了多个记忆仓库，但每个仓库的操作仍然保持线性复杂度。同时，通过稀疏激活机制，系统在每个时间步只需要更新部分记忆仓库，进一步降低了计算开销。
推理阶段的效率更加突出。由于MoM可以将历史信息压缩存储在固定大小的记忆状态中，推理时不需要重新处理整个历史序列，实现了真正的常数时间复杂度。这意味着无论之前处理了多长的文本，生成下一个单词的时间都是固定的。
研究团队还开发了专门的硬件优化技术，充分利用现代GPU的并行计算能力。通过精心设计的内存访问模式和计算流水线，MoM能够在实际部署中达到理论预期的性能表现。
八、消融实验：深入剖析每个组件的贡献
为了更好地理解MoM系统各个组件的作用，研究团队进行了大量的消融实验。这些实验就像拆解一个复杂机器，逐一测试每个零件的功能，以确定哪些部分是必需的，哪些部分可以进一步优化。
记忆仓库数量的影响分析显示，使用4个记忆仓库并激活其中2个的配置取得了最佳效果。当仓库数量过少时，系统无法充分利用多记忆的优势；当仓库数量过多时，路由决策变得困难，反而影响了整体性能。这个结果为实际应用提供了重要的配置指导。
共享记忆机制的贡献也得到了量化验证。实验显示，加入共享记忆后，系统在各项任务上的平均性能提升了约1.5分。这个看似不大的提升实际上非常有意义，因为在AI系统的性能评估中，即使0.5分的提升都可能代表着显著的技术进步。
激活策略的选择同样重要。研究团队比较了不同的top-k选择策略，发现k=2时能够在性能和效率之间取得最佳平衡。这个结果符合信息理论的预期：适度的冗余能够提高系统的鲁棒性，但过多的冗余会导致计算浪费。
记忆更新机制的对比实验揭示了不同技术路线的特点。简单的线性更新虽然计算效率最高，但在复杂任务上表现有限；引入门控机制后性能显著提升，但计算开销也相应增加；使用梯度优化的方法能够取得最佳性能，但需要更复杂的实现。
九、混合架构探索：与传统方法的协同效应
研究团队还尝试了将MoM与传统Transformer模型结合的混合架构。这种设计philosophy类似于"取长补短"：利用MoM的高效率处理大部分文本，同时保留少量Transformer层来处理最关键的信息。
具体的混合方案是每7层MoM后插入1层Transformer，在总共24层的模型中只使用3层Transformer。这种配置在保持高效率的同时，显著提升了模型性能。在回忆密集型任务中，混合模型的平均得分达到了37.80分，相比纯MoM模型提升了约35%，甚至超过了纯Transformer模型的31.70分。
这个结果特别有价值，因为它展示了一条实用的技术路径。在实际应用中，我们往往需要在性能和效率之间找到平衡点。混合架构提供了这样一种选择：用很小的计算成本增加（只增加了12.5%的Transformer层），换取了显著的性能提升。
混合架构在常识推理任务上的表现同样出色。虽然只使用了少量Transformer层，但模型在各项基准测试上都取得了优于纯架构的结果。这说明MoM和Transformer之间存在良好的协同效应，两种技术的结合能够产生"1+1>2"的效果。
十、记忆专业化现象：AI系统中的"专业分工"
在深入分析MoM系统的工作机制时，研究团队发现了一个有趣的现象：不同的记忆仓库会自动发展出不同的"专业特长"。这种现象类似于人类社会中的专业分工，每个人在特定领域内发挥自己的专长。
通过分析大量文本数据的处理过程，研究团队发现第一个记忆仓库主要负责处理基础的名词、动词和介词，这些是语言理解的基本要素。第二个仓库则专门处理专有名词和科学术语，这些信息通常需要精确的记忆和检索。第三个仓库倾向于处理技术术语和形容词，这些词汇对于理解文本的细节和情感色彩很重要。第四个仓库主要处理疑问词和不完整的名词短语，这些往往出现在需要推理和补全的场景中。
这种自发的专业化分工现象表明，MoM系统不是简单地将信息随机分配到不同仓库，而是通过训练过程自动学会了如何高效组织和管理记忆。这种能力的涌现让研究团队看到了进一步优化的可能性：未来或许可以设计专门的训练策略，引导不同记忆仓库发展出更明确的专业化能力。
负载均衡分析显示，在引入辅助损失函数后，各个记忆仓库的使用频率基本均衡，避免了某些仓库过载而其他仓库闲置的问题。这种均衡使用确保了系统能够充分发挥多记忆架构的优势。
十一、长度外推能力：突破训练数据的限制
AI系统的一个重要挑战是能否处理比训练时更长的文本序列。这就像训练一个运动员跑1000米，然后让他去跑马拉松，能否成功很大程度上取决于训练方法和身体机能。
MoM在长度外推测试中展现出了优秀的表现。研究团队在2K长度的文本上训练模型，然后测试其在32K长度文本上的表现。传统Transformer模型在这种测试中往往表现很差，困惑度（衡量模型不确定性的指标）从13.4急剧上升到2271.3，基本上失去了理解长文本的能力。
相比之下，MoM模型的困惑度上升非常平缓，在32K长度时仍然保持在合理范围内。这个结果表明，MoM的多记忆架构不仅能够有效处理训练时见过的长度，还具备了处理更长序列的泛化能力。
这种长度外推能力的来源可能与MoM的记忆组织方式有关。由于信息被分布式存储在多个仓库中，系统对位置信息的依赖性较小。同时，每个仓库内部的线性更新机制天然具有长序列处理的优势。
长度外推能力对实际应用具有重要意义。在处理长文档、学术论文或代码文件时，AI系统经常需要理解远超训练数据长度的内容。MoM的这一优势使其在这些场景中具有更大的应用潜力。
十二、与传统方法的深度对比：量化优势分析
为了更全面地评估MoM的效果，研究团队设计了多层次的对比实验，不仅与其他线性模型进行比较，还与传统的Transformer模型进行了直接对比。
在参数量相同的前提下，MoM在几乎所有任务上都显著优于其他线性序列模型。在3.4亿参数的配置下，MoM在回忆密集型任务上的平均得分为28.16分，而表现最好的基线方法Gated DeltaNet只有24.78分。在13亿参数的配置下，这种优势更加明显，MoM达到了36.04分，非常接近Transformer++的37.31分。
更令人印象深刻的是，MoM在保持线性计算复杂度的同时，在某些任务上甚至超越了Transformer模型。在TriviaQA问答任务中，MoM的得分为58.59分，而Transformer++只有58.47分。这个结果具有里程碑意义，因为它首次证明了线性模型有可能在性能上与Transformer模型相媲美。
计算效率的对比更加直观。在处理64K长度的序列时，Transformer模型需要消耗约60GB的GPU内存，而MoM只需要不到20GB。在生成速度方面，MoM能够以几乎恒定的速度处理任意长度的序列，而Transformer的处理时间随序列长度平方增长。
这些对比结果表明，MoM不仅解决了线性模型的记忆局限性问题，还在效率和性能之间找到了一个极佳的平衡点。对于需要处理长文本但计算资源有限的应用场景，MoM提供了一个非常有吸引力的解决方案。
十三、技术细节剖析：深入理解实现原理
MoM系统的成功离不开许多精心设计的技术细节。路由网络的设计相对简单但非常有效：使用一个线性变换层将输入映射到重要性评分，然后通过softmax函数归一化，最后选择top-k个最高分数的记忆仓库。这种设计的优势在于计算开销很小，同时能够实现灵活的动态路由。
记忆更新机制支持多种不同的策略。最基础的线性注意力更新直接将新信息累加到记忆矩阵中。更高级的方案引入了遗忘门控，允许系统主动遗忘不重要的历史信息。最复杂的方案甚至支持基于梯度的优化更新，将记忆更新转化为一个小规模的优化问题。
为了实现高效的并行计算，研究团队开发了巧妙的数学变换技术。通过重新排列矩阵运算的顺序，MoM可以充分利用现代GPU的向量计算能力。同时，通过分块计算和流水线技术，系统能够在内存使用和计算速度之间取得最佳平衡。
辅助损失函数的设计也值得关注。为了确保各个记忆仓库得到均衡使用，系统引入了一个负载均衡损失项。这个损失项鼓励路由器将工作负载相对均匀地分配给各个仓库，避免出现某些仓库过度使用而其他仓库闲置的情况。
十四、实际应用前景：从实验室到产业的桥梁
MoM技术的突破为多个实际应用领域带来了新的可能性。在文档处理和信息检索领域，MoM的多记忆架构特别适合处理长文档的理解和问答任务。传统系统往往无法有效处理超过几千字的文档，而MoM可以轻松应对几万甚至几十万字的长文档。
在代码分析和自动编程方面，MoM展现出了巨大的潜力。现代软件项目往往包含数万行代码，理解这些代码需要系统能够记住大量的函数定义、变量声明和逻辑关系。MoM的多记忆系统天然适合这种需求，可以将不同类型的代码信息存储在专门的记忆仓库中。
在对话系统和智能助手领域，MoM可以显著改善长对话的连贯性。传统系统往往在对话进行几轮后就开始"健忘"，忘记对话开始时的重要信息。MoM的持久记忆能力可以让AI助手在长时间对话中保持一致性和连贯性。
在教育技术方面，MoM可能革命性地改善个性化学习系统。这类系统需要记住学生的学习历史、知识掌握情况和个人偏好，然后据此调整教学策略。MoM的多记忆架构非常适合这种多维度信息的管理和利用。
研究团队已经开源了MoM的完整代码实现，这为技术的快速推广和应用奠定了基础。开源策略意味着全球的研究人员和工程师都可以在自己的项目中试用和改进这项技术，加速其从实验室走向实际应用的进程。
说到底，MoM技术的出现为AI领域带来了一个重要的启发：解决复杂问题有时不需要简单地增加模型规模或计算资源，而是需要更聪明的架构设计。通过模仿生物系统的记忆组织方式，MoM在保持高效率的同时显著提升了性能，为未来AI系统的发展指明了一个新的方向。
这项研究的意义远不止于技术本身。它证明了跨学科研究的价值，展示了生物学原理如何启发计算机科学的创新。更重要的是，它为那些计算资源有限但又需要强大AI能力的应用场景提供了一条可行的技术路径。随着技术的进一步成熟和优化，我们有理由相信MoM将在更多实际应用中发挥重要作用，让高性能AI技术变得更加普及和实用。有兴趣的读者可以通过访问项目的GitHub页面（https://github.com/OpenSparseLLMs/MoM）获取更多技术资料，或查阅完整的研究论文来了解更深入的技术细节。
Q&A
Q1：MoM记忆混合体系统是什么？它解决了什么问题？
A：MoM是上海AI实验室开发的一种新型AI记忆架构，它给AI配备了多个独立的记忆仓库，而不是传统的单一记忆系统。这解决了AI在处理长文本时新信息覆盖旧信息的"健忘"问题，让AI能够同时记住更多不同类型的信息而不相互干扰。
Q2：MoM相比传统AI模型有什么优势？计算效率如何？
A：MoM在保持线性计算复杂度的同时，性能接近甚至超越了传统Transformer模型。在处理32K长度文本时，传统模型可能需要60GB内存，而MoM只需要20GB。同时它的处理速度恒定，不会因为文本变长而急剧下降，特别适合处理长文档和复杂任务。
Q3：普通用户什么时候能使用到MoM技术？有哪些应用场景？
A：研究团队已经开源了完整代码，技术人员现在就可以使用。未来MoM技术有望应用在文档处理、代码分析、智能对话系统和个性化教育等领域。特别是需要理解长文档、进行复杂推理或维持长时间记忆的AI应用场景将显著受益。
上一篇：德州大学团队用强化学习造出"六边形魔法"，让量子计算机的错误修正效率提升73倍
下一篇：让AI炒股变得更聪明：哈佛大学等团队发明的"智能交易员"如何用对话模式赚钱
