这项由华盛顿大学李悦泰等研究者领导的研究发表于2025年2月，论文标题为《Small Models Struggle to Learn from Strong Reasoners》。研究团队包括来自华盛顿大学、卡内基梅隆大学和西华盛顿大学的多位学者，有兴趣深入了解的读者可以通过论文项目页面 https://small-model-gap.github.io/ 或Hugging Face平台 https://huggingface.co/UWNSL 访问相关资源。
在人工智能的世界里，有一个普遍的假设：小学生应该向大学教授学习，这样才能变得更聪明。把这个想法移植到AI领域，就是让参数较少的"小模型"向参数庞大的"大模型"学习复杂推理能力。然而，华盛顿大学的研究团队通过大规模实验发现了一个令人意外的现象——小模型其实学不会大模型的"高深"推理方法，就像让小学生直接学习大学高等数学课程反而会适得其反一样。
研究团队将这个现象命名为"小模型可学习性差距"，这个发现颠覆了AI领域的一个基本认知。长期以来，研究者们都认为让小模型模仿大模型的推理过程是提升性能的最佳途径，但实验数据告诉我们：当小模型（参数量在30亿以下）试图学习大模型那些冗长复杂的推理链条时，不仅没有变聪明，反而表现更糟糕了。
这就像是让一个刚学会加减法的孩子直接去理解微积分的复杂证明过程。孩子不但学不会，还可能被这些过于复杂的内容搞得晕头转向，连原本会的简单运算都做不好了。研究发现，小模型在面对那些步骤繁多、逻辑复杂的推理路径时，由于自身能力限制，很难抓住其中的关键要点，反而会在复杂信息中迷失方向。
为了解决这个问题，研究团队提出了一个巧妙的解决方案——"混合蒸馏法"。这种方法就像是为学生制定了一个循序渐进的学习计划：不仅让他们接触高深的知识，也保持对基础知识的学习；不仅让他们向顶尖专家学习，也安排能力相近的"学长"来指导。通过这种方式，小模型的推理能力得到了显著提升。
这项研究不仅揭示了AI模型训练中的一个重要盲点，更为整个行业提供了新的思路。它告诉我们，在AI的世界里，"因材施教"同样重要——不同规模的模型需要不同的培养方式，盲目追求复杂并不总是最好的选择。
一、小模型的学习困境：当学生遇到太难的课程
在探讨这个研究的核心发现之前，我们需要先理解什么是"链式思维推理"。可以把它想象成解决一道复杂数学题的过程：你不能直接给出答案，而是需要一步步展示你的思考过程——先做什么，再做什么，每一步的逻辑依据是什么，最终如何得出结论。
在AI领域，研究者们发现让模型展现这种逐步推理的过程能显著提升其解决复杂问题的能力。就像老师要求学生不仅要给出正确答案，还要写出详细的解题步骤一样，这种方法能让AI的推理过程变得更加透明和可靠。
然而，推理过程也有长短之分。短链推理就像解决简单应用题时的简洁步骤：看题、列式、计算、答题，寥寥几步就能搞定。而长链推理则像是解决奥数竞赛题目，需要多次尝试不同方法、反复验证、深入分析，整个过程可能包含数十个步骤，充满了自我质疑和路径调整。
研究团队通过对比实验发现了一个有趣的现象：当他们让小模型学习这两种不同类型的推理过程时，结果截然不同。小模型在学习简短、直接的推理路径时表现良好，就像小学生按照标准步骤解决简单数学题一样，能够很好地掌握和应用。
但是当研究者让同样的小模型去学习那些冗长复杂的推理过程时，情况就不一样了。这些复杂的推理链条往往包含大量的自我反思、多次验证、路径回溯等高级认知活动。对于小模型来说，这就像让一个刚学会基本运算的学生去理解高等数学的证明过程——不仅理解困难，还可能被这些复杂信息干扰，影响对基础知识的掌握。
研究团队在数学推理任务上进行了大规模测试，涵盖了从基础的GSM8K数学题到高难度的AIME和奥林匹克数学竞赛题目。结果显示，当小模型接受长链复杂推理训练时，在MATH数据集上的表现比接受短链推理训练时低了10个百分点以上。这个差距相当显著，就像是一个原本能考80分的学生，因为学习方法不当，成绩下滑到了70分。
更有趣的是，这种现象并不是偶然出现的。研究团队测试了多个不同规模的模型，从5亿参数到32亿参数不等，发现了一个规律性的现象：模型越小，这种"学习困境"就越明显。而当模型规模达到7亿参数以上时，情况开始发生逆转——大模型反而能够从复杂的推理过程中受益，表现出更强的推理能力。
这个发现让研究团队意识到，模型规模本身就决定了其学习能力的上限。就像不同年龄段的学生有不同的认知发展水平一样，不同规模的AI模型也有其特定的学习能力范围。强行让小模型学习超出其理解能力的复杂内容，不仅无法提升性能，反而可能造成"消化不良"。
二、师资匹配的重要性：为什么大教授不适合教小学生
除了推理链条的长短问题，研究团队还发现了另一个重要现象：小模型不仅难以学习复杂的推理过程，也很难从那些能力远超自己的"老师"那里有效学习。这个发现进一步揭示了AI模型训练中"师资匹配"的重要性。
在传统的模型蒸馏过程中，研究者们通常会让规模庞大、能力强悍的大模型作为"老师"，将其知识传授给规模较小的"学生"模型。这种做法的逻辑看似合理：既然大模型能够产生更准确、更复杂的推理结果，那么让小模型学习这些高质量的示例应该能够提升其能力。
然而，实验结果再次打破了这个直观认知。研究团队设计了一系列对比实验，让同一个小模型分别向不同规模的"老师"学习。结果发现，当小模型向那些参数量是自己几十倍甚至上百倍的超大型模型学习时，效果往往不如向规模相近的"同龄人"学习。
这种现象可以用一个生动的比喻来理解：让小学生直接听大学教授的高等数学课，效果远不如让中学数学老师来教授。大学教授的知识深度和广度确实远超中学老师，但他们的思维方式、表达习惯和知识结构对小学生来说过于复杂，难以消化吸收。相比之下，中学老师虽然知识水平有限，但他们更了解学习的渐进过程，能够用更贴近学生认知水平的方式进行教学。
研究团队通过具体的数据验证了这个观察。他们让Qwen2.5-3B这个小模型分别向72亿参数的大模型和同为3亿参数的小模型学习。结果显示，向大模型学习时，小模型在多个测试任务上的表现都出现了下降，特别是在AIME数学竞赛题目上，性能下降了超过3个百分点。而向同规模模型学习时，虽然提升幅度不大，但至少能够保持稳定的表现。
进一步的分析揭示了造成这种现象的深层原因。大模型由于其庞大的参数量和复杂的内部结构，在处理问题时会使用更加精细和复杂的策略。它们的"思考"方式往往包含大量的隐含信息和复杂的逻辑关系，这些对小模型来说都是难以理解和模仿的。
就像一个刚学会走路的孩子很难模仿专业舞蹈演员的复杂动作一样，小模型在面对大模型的复杂推理模式时，往往只能抓住一些表面特征，而错过了真正的核心逻辑。这种不完整的学习不仅无法带来性能提升，还可能引入错误的模式，干扰模型原有的能力。
研究团队进一步发现，这种"师资不匹配"的问题在不同类型的任务中表现程度不同。在相对简单的数学计算任务中，影响较小，因为这类任务的推理路径相对固定，即使是大模型的解答也不会过于复杂。但在需要创造性思维和复杂推理的奥林匹克数学题中，这种不匹配就显得特别突出，小模型的表现下降幅度可达到10个百分点以上。
三、混合教学法：找到最适合的学习配方
面对小模型学习困境的发现，研究团队并没有停留在问题的发现上，而是积极寻找解决方案。他们提出的"混合蒸馏法"就像是为学生量身定制的个性化学习计划，既不放弃挑战，也不忽视基础。
混合蒸馏法的核心思想其实很朴素：既然小模型无法很好地消化过于复杂的单一类型训练数据，那么为什么不让它同时接触多种难度层次的学习材料呢？就像一个合理的课程设计既包含基础练习，也包含提高题目，让学生在掌握基础的同时逐步接受更大的挑战。
研究团队设计了两种具体的混合策略。第一种称为"Mix-Long"，它将长链复杂推理和短链简洁推理按照特定比例混合在一起。具体来说，他们将20%的长链推理数据和80%的短链推理数据组合，让小模型能够在学习基础推理模式的同时，适度接触一些更复杂的思维过程。
这种设计的巧妙之处在于找到了挑战与能力之间的平衡点。80%的短链推理确保了小模型能够建立坚实的基础推理能力，就像学生需要大量练习基础题目来巩固基本功一样。而20%的长链推理则像是适度的"加餐"，让模型能够接触到更复杂的思维方式，但又不至于因为过于困难而无所适从。
第二种策略叫做"Mix-Large"，它在师资选择上采用了类似的混合思路。与其让小模型只向单一的大模型或小模型学习，不如让它同时接受来自不同能力层次"老师"的指导。这种设计让小模型既能接触到高水平的推理示例，又能学习到更贴近自身能力的解题方法。
实验结果证明了这种混合策略的有效性。使用Mix-Long方法训练的Qwen2.5-3B模型在MATH数据集上的表现比单纯使用长链推理训练时提升了8个百分点以上，在AMC竞赛题目上也有类似的显著提升。更重要的是，这种提升是全面性的，不仅在复杂题目上表现更好，在基础题目上也保持了良好的水平。
Mix-Large策略同样取得了令人鼓舞的结果。小模型在接受混合师资指导后，在MATH、AIME和AMC等多个测试集上都实现了7个百分点以上的性能提升。这种提升的可贵之处在于其稳定性——不像单纯向大模型学习时可能出现的不稳定表现，混合训练后的模型展现出了更加可靠和一致的推理能力。
研究团队通过详细分析发现，混合训练的成功不仅仅在于数据的多样性，更在于它创造了一个更符合学习规律的环境。在这个环境中，小模型可以根据自身的理解能力选择性地吸收不同复杂度的信息，就像一个聪明的学生能够在课堂上重点关注自己能理解的部分，同时对更难的内容保持开放态度，为将来的学习做准备。
值得注意的是，研究团队发现混合比例的选择至关重要。他们测试了不同的混合比例，发现当长链推理或大模型指导的比例达到20%时，效果最为理想。比例过低，挑战性不足，模型难以获得足够的提升；比例过高，又会重新陷入之前发现的学习困境。这个20%的"黄金比例"反映了学习过程中挑战与能力匹配的微妙平衡。
四、深层机制：为什么会出现这种现象
为了深入理解小模型学习困境的根本原因，研究团队进行了一系列细致的分析工作。他们的发现揭示了这个现象背后的多层次机制，为我们理解AI模型的学习过程提供了宝贵洞察。
首先，研究团队发现领域专业知识的程度显著影响着学习效果。他们比较了通用小模型和数学专门模型的学习表现，结果令人深思。同样是1.5亿参数的小模型，数学专门模型在学习复杂推理和大模型指导时表现出了更强的适应能力，其学习困境比通用模型要小得多。
这个发现就像是发现了一个重要的学习规律：有一定基础的学生更容易接受高难度的教学内容。数学专门模型由于在预训练阶段就接触了大量数学相关内容，建立了相对完整的数学概念框架，因此在面对复杂数学推理时不会显得完全无所适从。相比之下，通用模型就像是一个刚开始接触数学的学生，突然面对高深的证明过程时自然会感到困惑。
其次，研究团队对比了基础模型和经过指令微调的模型，发现了另一个有趣的规律。基础模型（即只经过基本语言建模训练的模型）表现出了更严重的学习困境，而那些经过指令微调的模型则表现得相对稳定一些。这说明模型的"社会化"程度也会影响其学习新技能的能力。
经过指令微调的模型就像是已经接受过一定教育训练的学生，它们了解如何理解和回应不同类型的指令，具备了基本的学习框架。而基础模型则更像是刚入学的新生，需要更多的适应时间和更细致的指导。
研究团队还进行了一项特别有意思的分析：他们追踪了模型在学习过程中词汇使用习惯的变化。结果发现，当小模型试图学习大模型的推理方式时，它们的语言风格发生了显著变化，开始频繁使用一些表达性和风格化的词汇，如"等等"、"但是"、"让我们"等。
这个现象就像是一个小学生试图模仿大学生的说话方式，结果是表面上看起来更"高深"了，但实际的理解能力并没有相应提升。模型把注意力过多地放在了模仿表面的语言特征上，反而忽略了真正重要的逻辑推理能力。这种"形式大于内容"的学习方式不仅无效，还可能干扰模型原有的能力。
研究团队通过对模型内部激活模式的分析发现，小模型在处理复杂推理任务时，其内部表征出现了明显的不稳定性。与学习简单推理时的清晰、有序的激活模式相比，学习复杂推理后的模型显示出了更多的噪声和不一致性，这表明模型的内部知识结构受到了干扰。
这种现象可以理解为认知负荷过载的表现。就像人在处理超出自身能力的复杂任务时会出现思维混乱一样，小模型在面对过于复杂的学习内容时，其内部的信息处理机制也会出现紊乱，导致整体性能下降。
最后，研究团队发现模型规模确实存在某种"临界点"效应。他们的实验显示，大约在7亿参数左右，模型开始能够有效地处理复杂推理任务，而在3亿参数以下，这种能力就显得非常有限。这个发现为AI模型的设计和应用提供了重要参考：不同规模的模型适合解决不同复杂度的任务，强行跨越能力界限往往得不偿失。
五、实践启示：重新思考AI模型训练策略
这项研究的发现对整个AI领域具有深远的实践意义，它不仅改变了我们对模型训练的认知，也为未来的研究方向提供了重要指导。
在模型部署方面，这项研究提醒我们需要重新评估小模型的价值和定位。长期以来，业界普遍认为小模型只是大模型的"廉价替代品"，主要价值在于降低计算成本。但这项研究表明，小模型有其独特的学习特点和优势领域，如果采用合适的训练方法，它们完全可以在特定任务上取得出色的表现。
这种认知转变对于资源有限的应用场景特别重要。许多实际应用并不需要超大规模模型的全部能力，而且受到计算资源、响应时间、部署成本等多方面约束。在这些场景中，经过精心训练的小模型可能是更好的选择。研究结果显示，采用混合训练策略的3亿参数模型在数学推理任务上的表现可以媲美某些更大规模的模型。
在训练数据的准备方面，这项研究强调了"因材施教"的重要性。传统的做法是为所有模型准备同样的高质量训练数据，认为数据质量越高越好，推理过程越复杂越好。但研究结果告诉我们，不同规模的模型需要不同类型的训练数据。为小模型设计训练数据时，应该更多考虑其理解能力和学习特点，而不是简单地追求复杂度。
研究团队提出的混合训练策略为数据准备提供了具体的指导原则。在为小模型准备训练数据时，应该以适合其能力水平的简洁推理为主体，适度添加一些挑战性内容作为补充。这种策略不仅能够确保模型掌握基础能力，还能够逐步提升其处理复杂问题的能力。
在教师模型的选择方面，研究结果颠覆了"越大越好"的传统观念。对于小模型的训练，选择能力相近但稍强的模型作为教师可能比选择最强的模型更有效。这种选择不仅能够提供合适的学习目标，还能够减少由于能力差距过大而导致的学习困难。
这个发现对于构建模型训练的"梯队体系"具有重要启发意义。与其让所有小模型都向同一个超大模型学习，不如构建一个分层的训练体系：让最小的模型向中等规模模型学习，中等规模模型向大模型学习，形成一个递进的知识传递链条。这种设计可能会带来更好的整体训练效果。
在评估方法方面，这项研究也提出了新的思考。传统的模型评估往往只关注最终的任务表现，而忽略了模型的学习过程和内在机制。研究团队通过分析模型的语言风格变化、内部表征稳定性等指标，揭示了表面性能背后的深层问题。这种全面的评估方法对于真正理解和改进模型训练具有重要价值。
未来的研究可以在这项工作的基础上探索更多方向。比如，如何为不同规模的模型设计更精细的训练策略？如何在保持模型能力平衡的同时进一步提升性能？如何将这些发现应用到其他类型的任务和领域中？这些问题的探索将推动AI模型训练技术的进一步发展。
说到底，这项研究最大的价值在于它提醒我们：在AI的世界里，就像在教育领域一样，没有放之四海而皆准的万能方法。每个模型都有自己的特点和局限，需要我们用更加细致和个性化的方法来培养它们的能力。只有真正理解了模型的学习规律，我们才能让AI技术发挥出最大的潜力，为人类社会带来更大的价值。这种"因材施教"的理念不仅适用于人类教育，在AI模型的培养中同样重要。研究团队的工作为我们打开了一扇新的窗户，让我们看到了更加精细化、个性化的AI训练方法的可能性。
Q&A
Q1：什么是小模型可学习性差距？为什么小模型学不好复杂推理？
A：小模型可学习性差距是指参数量在30亿以下的小AI模型无法有效学习大模型的复杂推理方法的现象。就像让小学生直接学大学数学会适得其反一样，小模型在面对复杂的推理链条时，由于自身能力限制，很难抓住关键要点，反而会在复杂信息中迷失方向，导致性能下降而不是提升。
Q2：混合蒸馏法具体是怎么工作的？效果如何？
A：混合蒸馏法就像为学生制定循序渐进的学习计划，包含两种策略：Mix-Long将80%简单推理和20%复杂推理混合训练；Mix-Large让小模型同时向大模型和小模型学习。实验显示，使用这种方法的小模型在数学推理任务上性能提升了7-8个百分点，既能处理复杂题目又保持了基础能力。
Q3：这项研究对AI模型的实际应用有什么意义？
A：这项研究改变了"越大越好"的传统观念，证明小模型有其独特价值和适用场景。对于资源有限的应用，经过合适训练的小模型可能比盲目使用大模型更有效。研究还提出了"因材施教"的训练理念，为不同规模模型设计不同的训练策略，这将推动更精细化、个性化的AI训练方法发展。
上一篇：华科大联手地平线：让AI学会开车的秘诀，竟然是在数字世界里"碰车"
下一篇：ServiceNow联合Mila等机构提出全新视觉-文本桥接神器，让AI看懂图片中的文字真的不再困难
