这项由西安交通大学人机混合增强智能国家重点实验室的王乐教授团队与蚂蚁集团郑若冰博士联合领导的研究发表于2025年8月，论文题为《HumanSense: 从多模态感知到通过推理型多模态大语言模型实现同理心语境感知响应》。有兴趣深入了解的读者可以通过https://digital-avatar.github.io/ai/HumanSense/访问完整论文和项目主页。
当你和朋友聊天时，你不仅在听对方说什么，还在观察他们的表情、语调和肢体语言。如果朋友看起来沮丧，即使他们说"没事"，你也能察觉出不对劲，并给予适当的安慰。这种能力看似简单，实际上需要复杂的感知、理解和推理过程。现在，研究团队正在教会AI具备这样的能力。
当前的AI聊天机器人虽然能够进行对话，但它们往往像是在读剧本——缺乏对人类情感的真正理解，无法根据具体情境给出恰当的回应。就像一个只会背诵医学教科书的人，虽然知识丰富，但无法成为一个真正理解病人感受的医生。
这项研究的核心突破在于创建了一个全新的评估体系，专门测试AI是否真正具备"读懂人心"的能力。研究团队不仅要求AI能够识别人脸和声音，更重要的是要求它能够理解隐藏在表象下的真实情感和需求，并给出合适的反馈。
一、搭建AI的"情商测试"——HumanSense评估框架
传统的AI测试就像让学生做数学题，只看答案对错。但评估AI是否真正理解人类却需要更加精妙的方法。研究团队设计的HumanSense框架就像是为AI量身定制的"情商测试"，包含了15项不同难度的测试，总共3882道题目，全部来源于真实的人际互动记录。
这个测试框架采用了四层金字塔结构，就像学习钢琴一样，需要从基础练习逐步进阶到复杂演奏。最底层的L1和L2级别测试AI的基础感知能力，相当于训练它"看得清"和"听得懂"。L1级别包括识别人物外貌特征、基本动作、手势和面部表情，就像教孩子认识"这个人在笑"或"那个人在挥手"。L2级别则要求AI理解更复杂的场景，比如判断一段视频中发生了什么复杂动作，或者识别异常行为。
更高层次的L3级别测试AI的"读心术"——能否理解人际关系中的隐含信息。这包括判断两个人的熟悉程度、分析对话氛围是否和谐、识别人际关系类型，甚至检测某人是否在撒谎。这就像要求AI具备心理学家的洞察力，能够从微妙的线索中推断出深层的人际动态。
最顶层的L4级别测试AI的"同理心"——在理解情境后能否给出恰当的反馈。这不仅要求AI知道对方的感受，还要知道应该表现出什么样的情绪回应，或者在心理咨询场景中给出专业而温暖的建议。
整个测试体系的创新之处在于，它不仅测试AI能否正确回答问题，更关注AI是否能像真正的朋友一样，在复杂的人际互动中给出合适的反应。研究团队从YouTube视频、专业数据集和真实对话记录中精心挑选了测试材料，确保每一道题目都反映真实生活中的情况。
二、当前AI的"情商体检报告"
研究团队对十几个当前最先进的AI模型进行了全面测试，结果令人深思。就像给学生做体检一样，这次"情商体检"揭示了AI在理解人类方面还有很大的进步空间。
在基础的感知测试中，大多数AI表现尚可，就像学生在简单的选择题上能得到不错的分数。但当测试升级到需要深度理解和推理的高级任务时，AI的表现就开始显著下降。人类评估者在整个测试中平均得分87.5%，而表现最好的AI模型也只能达到57.8%，差距相当明显。
特别有趣的发现是，那些能够同时处理视频、音频和文字信息的"全能型"AI模型，在高级任务中明显优于只能处理视觉信息的模型。这就像一个既会看表情又能听语调的朋友，总是比只看得见听不着的朋友更能理解你的真实感受。
研究团队进行的模态消融实验进一步证实了这一点。他们分别测试了AI在使用不同信息来源时的表现，发现音频信息在理解人际关系和情感方面发挥着至关重要的作用。当AI同时获得视觉和听觉信息时，它在判断对话和谐程度、识别人际关系等任务上的表现都有显著提升。
然而，即使是最先进的全能型AI，在需要给出恰当反馈的任务中仍然表现不佳。这揭示了一个关键问题：当前AI的瓶颈不在于基础的感知能力，而在于缺乏基于多模态信息进行深度推理的能力。就像一个能够准确描述病症但无法给出治疗建议的医学学生，AI虽然能识别情感信号，但还不会将这些信号整合起来，形成对情境的深度理解并给出合适的回应。
三、教会AI"推理"的艺术
面对AI在高级任务中的表现不足，研究团队提出了一个创新的解决方案：通过多阶段的强化学习训练，教会AI进行基于多模态信息的深度推理。这个过程就像训练一个优秀的心理咨询师，需要循序渐进地培养其观察、理解和回应的能力。
研究团队设计的训练方法采用了三个阶段的递进式学习。第一阶段专注于视觉推理能力的建立，让AI学会如何基于看到的信息进行思考和推理。第二阶段加入音频信息，训练AI整合听觉线索进行推理。第三阶段则将视频、音频和文字信息完全整合，让AI学会在复杂的多模态环境中进行全面推理。
这种训练方法的效果非常显著。经过强化学习训练的AI模型在各项任务中都有了明显提升，特别是在需要深度理解和推理的高级任务中。更重要的是，研究团队发现训练后的AI确实学会了一种系统性的推理模式：首先识别关键特征和情感状态，然后分析语境信息，最后基于这些综合信息给出合适的回应。
通过分析成功案例，研究团队发现AI的推理过程展现出了高度的一致性。无论是分析人际关系还是提供心理咨询建议，训练后的AI都会按照"观察特征→理解情感→分析语境→给出回应"这样的逻辑链条进行思考。这种推理模式与人类心理学家或咨询师的思维过程非常相似。
四、不需要训练的"速成技巧"
基于对AI成功推理模式的观察，研究团队还发现了一个意外的收获：可以通过精心设计的提示语，让未经特殊训练的AI也能显著提升表现。这就像找到了一个"速成秘籍"，能够快速激发AI的潜在推理能力。
研究团队设计的提示模板引导AI在分析音频或视频时，重点关注三个方面：人物的关键特征和行为、表达或推断的情感状态，以及对话或语言中的相关语境信息。然后要求AI基于这些要素进行推理并得出结论。
这个简单的提示策略在测试中取得了令人惊喜的效果。使用这种提示方法的AI在多个高级任务中都有了显著提升，特别是在需要综合分析多种信息的任务中。这表明许多AI模型其实已经具备了进行复杂推理的基础能力，只是需要正确的引导来激发这种能力。
这一发现对于AI应用具有重要的实践意义。它意味着即使是现有的AI模型，通过适当的提示设计，也能在人际互动理解方面取得更好的表现。这为那些无法进行大规模模型训练的研究者和开发者提供了一个成本较低但效果显著的改进方案。
五、AI推理的"思维导图"
通过深入分析训练成功的案例，研究团队揭示了AI在处理人际互动时的"思维导图"。这个过程就像一个经验丰富的人际关系专家在分析复杂情况时的思考步骤。
在分析人际关系时，AI首先会观察视频中人物的外貌特征、年龄差异和互动方式，然后结合对话内容和语调变化，最后综合这些信息判断两人的关系类型。比如在判断父子关系时，AI会注意到年龄差异、相似的面部特征、亲密的交流方式和家庭化的对话内容。
在评估对话和谐程度时，AI学会了同时关注言语内容和非言语信号。它会分析说话者的情感表达、对话的流畅程度、是否存在紧张或尴尬的时刻，以及双方的互动频率。这种多维度的分析让AI能够准确判断对话氛围，即使在表面看似正常的对话中也能察觉到潜在的紧张关系。
最令人印象深刻的是AI在心理咨询场景中的表现。经过训练的AI学会了倾听来访者的困扰，识别其情感状态，理解问题的核心，然后给出既专业又有温度的建议。这个过程体现了AI对人类心理复杂性的深度理解和恰当回应的能力。
这些成功案例表明，通过适当的训练，AI确实可以学会进行类似人类的复杂推理，在理解人际互动方面达到相当高的水平。这为开发更加智能和人性化的AI系统提供了重要的方向和方法。
六、技术突破的深层意义
这项研究的意义远远超出了技术层面的改进，它实际上为AI与人类的互动方式带来了根本性的变革。传统的AI系统更像是高效的工具，能够执行指令、回答问题，但缺乏真正的理解和共情能力。而这项研究展示的AI则更像是一个有温度的伙伴，能够感知人类的情感需求并给出贴心的回应。
在实际应用场景中，这种技术突破具有广泛的应用前景。在客户服务领域，AI能够更好地理解客户的不满情绪并给出安抚性的回应。在教育领域，AI可以根据学生的情感状态调整教学方式。在医疗健康领域，AI可以为患者提供更加人性化的心理支持。在老年人陪伴领域，AI可以成为真正理解老人需求的智能伙伴。
这项研究也揭示了AI发展的一个重要趋势：从单纯的任务执行向情感智能的演进。就像人类社会的发展不仅需要高效的工具，更需要理解和关怀一样，未来的AI系统也必须具备类似的情感智能才能真正融入人类社会。
研究团队构建的多模态推理框架为这一发展方向提供了重要的技术基础。通过整合视觉、听觉和语言信息，AI能够更全面地理解人类的表达和需求。而基于强化学习的训练方法则为AI获得这种能力提供了有效的途径。
更重要的是，这项研究证明了AI的情感智能是可以通过系统性的方法来培养和提升的。这为未来开发更加智能和人性化的AI系统指明了方向，也为实现真正的人机协作奠定了基础。
结论部分，说到底，这项研究做的事情其实很简单也很重要：教会AI像人一样理解情感，像朋友一样给予回应。虽然当前的AI在这方面还有很大的提升空间，但研究团队已经找到了正确的方向和有效的方法。
归根结底，这不仅仅是一个技术问题，更是关于如何让AI真正服务于人类福祉的问题。当AI能够理解我们的情感、体察我们的需求、给出恰当的回应时，它们就不再只是工具，而是真正的伙伴。这种转变将深刻影响我们与AI的互动方式，也将改变AI在社会中的角色和价值。
这项研究为我们展现了一个充满希望的未来：AI不仅能够高效地完成任务，还能够理解我们的感受，陪伴我们度过生活中的喜怒哀乐。虽然要实现这个愿景还需要更多的研究和技术突破，但这项工作无疑是朝着正确方向迈出的重要一步。有兴趣了解更多技术细节的读者可以通过项目主页https://digital-avatar.github.io/ai/HumanSense/访问完整的研究资料和数据集。
Q&A
Q1：HumanSense评估框架是什么，它如何测试AI的情商？
A：HumanSense是西安交通大学和蚂蚁集团联合开发的AI情商测试系统，包含15项测试任务和3882道题目。它采用四层金字塔结构，从基础的人脸识别、动作识别，到复杂的人际关系判断、情感理解，最后测试AI能否给出恰当的情感回应和心理咨询建议。
Q2：目前最先进的AI模型在人际互动理解方面表现如何？
A：测试结果显示，人类在HumanSense测试中平均得分87.5%，而表现最好的AI模型只能达到57.8%。AI在基础感知任务上表现尚可，但在需要深度理解和推理的高级任务中表现明显不足，特别是在情感回应和心理咨询等需要共情能力的任务上。
Q3：研究团队是如何提升AI情感理解能力的？
A：研究团队采用了两种方法：一是通过三阶段强化学习训练，让AI逐步学会整合视觉、听觉和语言信息进行推理；二是设计特殊的提示模板，引导AI关注人物特征、情感状态和语境信息，即使未经专门训练的AI也能显著提升表现。
上一篇：蚂蚁集团推出UI-Venus：让AI也能像人一样"看懂"并操作电脑界面
下一篇：上海交通大学开创口译自动评估新纪元：让AI解释为什么给你打这个分
