这是一个让人震惊的实验结果：当研究者们把最新的视觉推理测试题摆在全球最先进的20个AI模型面前时，所有模型都交出了同一个答案——0分。没错，是零分，一道题都没答对。
这项由剑桥大学的乔纳森·罗伯茨领导的国际研究团队发表于2025年3月的研究论文，创造了一个前所未有的评测基准ZeroBench。这个基准包含100道精心设计的视觉推理题目，每一道都经过严格筛选，确保当前最强大的AI模型都无法解答。有兴趣深入了解的读者可以通过https://zerobench.github.io/访问完整的研究资料。
罗伯茨和来自全球14个顶尖研究机构的50多位研究者合作完成了这项工作，其中包括阿尔伯塔大学的默罕默德·礼萨·塔埃西里、香港大学的韩凯教授，以及牛津大学、图宾根大学等知名学府的研究人员。这个庞大的国际团队花费了数月时间，像侦探一样仔细研究当前AI的视觉能力边界，最终设计出这套"不可能完成"的测试。
要理解这项研究的重要性，我们可以把AI的视觉能力比作一个正在学习看世界的孩子。过去几年里，这些AI"孩子们"在各种视觉测试中表现越来越好，就像考试成绩不断提高的学霸。然而，研究团队发现了一个令人担忧的现象：虽然AI在标准化测试中得分很高，但在真正需要视觉理解和推理的复杂任务上，它们的表现却远不如人类，甚至不如动物。
这就好比一个学生虽然能在选择题考试中得高分，但遇到需要真正理解和思考的综合性问题时就束手无策了。更严重的是，随着AI技术的快速发展，现有的测试题目正在被快速"攻破"，就像游戏通关一样，留给研究者评估AI真实能力的空间越来越小。
ZeroBench的诞生正是为了解决这个问题。研究团队采用了一种独特的"对抗性筛选"方法，就像设计一道道关卡，只有那些能够难倒所有当前AI的题目才能入选。这个过程就像制作一份极其困难的考卷，每道题都要经过层层筛选，确保连最聪明的"学生"都答不出来。
经过严格的四轮筛选过程，研究团队从140道候选题目中精选出100道核心题目，构成了ZeroBench的主体。同时，为了能够更细致地评估不同AI模型的能力差异，他们还为每道主题设计了334道相对简单的子题目，就像把一道综合题分解成若干个小步骤，让研究者能够看出AI在哪个环节卡住了。
一、视觉推理的终极挑战：ZeroBench的诞生背景
现代AI的发展速度快得令人眩目，特别是在视觉理解方面。过去一年里，各种新的大型多模态模型层出不穷，它们在传统视觉测试中的表现一路攀升，就像破纪录的运动员一样不断刷新成绩单。
然而，这种表面上的"优异成绩"掩盖了一个深层问题。研究团队发现，当前的视觉测试基准正在快速失效，就像一把逐渐变钝的刀，无法再准确衡量AI的真实能力。以OpenCompass平台追踪的数据为例，在2024年短短一年内，AI模型在各种视觉测试中的得分普遍提升了数十个百分点。MMBench测试的最高分从年初的不到60分提升到了接近90分，OCRBench更是接近满分。
这种现象就像考试题目变得过于简单，导致所有学生都能轻松得高分，老师再也无法区分谁的能力更强。更重要的是，这些高分并不意味着AI真的具备了强大的视觉理解能力。事实上，多项深入研究揭示了AI视觉能力的严重缺陷：它们在基础的计数任务上表现糟糕，无法准确识别图像中两条线的交叉点，甚至在地图上定位一个简单的点都会出错。
最让人震惊的是，研究发现某些AI的空间认知能力竟然不如小动物。这就好比一个在数学考试中得满分的学生，却连简单的空间几何问题都无法解决。这种能力和表现之间的巨大差距暴露了当前评测体系的根本性问题。
研究团队意识到，传统的多选题测试方式存在天然的缺陷。AI可能通过各种技巧和模式匹配来"猜对"答案，而不是真正理解图像内容。这就像学生掌握了选择题的答题技巧，但并没有真正理解知识内容一样。
另一个促使ZeroBench诞生的重要因素是推理模型的兴起。OpenAI的o1系列、谷歌的Gemini 2.0 Flash Thinking等新一代AI模型采用了"思考时间计算"的概念，它们会花费更多时间来思考和推理，就像学生在考试时反复检查答案一样。这些模型的推理过程可能产生数千个token的"思考链"，相应的计算成本也呈指数级增长。
在这种背景下，传统的大规模测试基准变得既昂贵又不实用。如果一个测试包含上千道题目，让这些"深度思考"的AI模型完成测试可能需要天文数字般的计算资源。因此，研究社区迫切需要一种既轻量又具有高度挑战性的评测工具。
ZeroBench正是在这种需求下应运而生。它不追求题目数量的庞大，而专注于质量的精深。每一道题都经过精心设计和反复验证，确保能够真正测试AI的视觉推理能力，而不是简单的模式匹配能力。
这种设计理念就像制作一道精致的法式料理，每一个细节都经过深思熟虑，宁可数量少一些，也要确保每一口都有独特的价值和意义。研究团队相信，真正困难的题目具有更长的"保质期"，能够在AI技术快速发展的浪潮中保持相对稳定的挑战性。
二、精工细作的题目设计：如何打造"不可能的任务"
创造一套能够难倒所有当前AI的题目，这本身就是一项极具挑战性的工作。研究团队采用了一种类似众包的方式，由20多位来自不同背景的研究者各自贡献题目，就像一群经验丰富的出题老师聚在一起，每个人都拿出自己的"压箱底"难题。
题目设计的基本原则非常明确：每道题必须包含一个对视觉理解至关重要的组件，需要多步推理才能解决，并且要尽可能困难。这就像设计一道综合性的数学应用题，不仅要考查基础知识，还要测试逻辑推理和综合分析能力。
为了确保题目的多样性和创新性，研究团队特意给题目创造者们很大的自由发挥空间。每个创造者都可以根据自己的专业背景和创意灵感来设计题目，涵盖从自然图像到合成图像，从单图推理到多图分析等各个方面。这种做法就像举办一场创意比赛，每个参与者都努力贡献最具挑战性的作品。
整个题目筛选过程分为四个严格的阶段，就像层层过滤的筛网，确保只有最优质的题目才能最终入选。
第一个阶段是反馈和改进。所有候选题目都会经过同行评议，创造者们互相审查彼此的题目，提出改进建议。这个过程就像学术论文的同行评议，确保每道题目都达到基本的质量标准。许多题目在这个阶段得到了显著改善，变得更加精准和具有挑战性。
第二个阶段是初步评估。研究团队使用当时最先进的两个AI模型——OpenAI的o1 pro和阿里巴巴的QVQ来测试所有候选题目。这就像让两个最优秀的学生先做一遍试卷，看看哪些题目对它们来说还是太简单了。
第三个阶段是深度审查。基于初步评估的结果，每道候选题目都会接受彻底的检查，确保题目表述清晰、答案正确、难度适当且表达简洁。审查者被特意安排，确保创造者不会审查自己的题目，避免"当局者迷"的问题。在这个阶段，许多题目被进一步修改以增加难度，一些存在歧义或答案空间过小的题目被淘汰。研究团队特别注意避免那些答案只是简单的是非选择或小整数的题目，因为这类题目容易被AI"蒙对"。
第四个也是最关键的阶段是对抗性过滤。研究团队用20个不同的AI模型对剩余的题目进行测试，任何被任一模型正确回答的题目都会被无情淘汰。这个过程就像设置一道道关卡，只有那些能够"全灭"所有AI模型的题目才有资格进入最终的ZeroBench。
有趣的是，不同AI模型表现出了截然不同的"专长领域"。一些相对较弱的模型偶尔能够答对连最强模型都无法解决的题目，这种现象反映了当前AI技术发展的不均衡性。这种差异性也证明了使用多个模型进行对抗性筛选的必要性，确保最终的题目集合对所有类型的AI都具有挑战性。
经过这四轮严格筛选，研究团队从最初的140道候选题目中筛选出了100道最终题目，构成了ZeroBench的核心。为了能够更细致地评估AI模型的能力，研究团队还为每道主题目设计了平均3.3道子题目，总共334道子题目。这些子题目就像把一道复杂的综合题分解成若干个步骤，让研究者能够精确定位AI模型在哪个环节出现了问题。
ZeroBench的题目涵盖了极其广泛的视觉推理场景。有些题目要求AI理解复杂的空间关系，比如分析雪花的体积或理解时钟的方向；有些题目需要精确的计数能力，比如统计图像中的特定对象；还有些题目需要跨图像的信息整合和推理。每道题目都经过精心设计，确保无法通过简单的模式匹配或猜测来解决。
为了保持测试的完整性，研究团队还采用了一个创新的做法：在论文中嵌入了一个特殊的"金丝雀字符串"。这个字符串的作用就像数字水印，可以帮助识别包含ZeroBench相关信息的数据，从而在未来的AI训练过程中将这些数据过滤掉，避免AI模型"作弊"。
三、史无前例的全军覆没：20个顶级AI的零分答卷
当研究团队将精心设计的ZeroBench摆在全球最先进的20个AI模型面前时，结果令所有人震惊：在最严格的单次作答测试中，所有模型都交出了同样的成绩单——0分，一道题都没答对。
这20个"参考学生"可谓是当今AI世界的精英阵容。其中包括OpenAI最新的推理模型o1和o1 pro，这两个模型以其强大的"深度思考"能力著称，能够产生长达数万token的推理链条。谷歌的Gemini系列也悉数到场，包括最新的Gemini 2.0 Flash Thinking实验版本，以及经典的Gemini 1.5 Pro和Flash版本。
Claude系列更是派出了最强阵容：包括被誉为当前最强文本模型之一的Claude 3.5 Sonnet v2，以及Claude 3 Opus、Sonnet和Haiku等各个版本。开源阵营也不甘示弱，Meta的Llama 3.2 90B、阿里巴巴的Qwen2-VL-72B-Instruct、以及英伟达的NVLM-D-72B等模型都参与了这场"大考"。
这些模型在其他视觉测试中的表现堪称优异。以OCRBench为例，最高分已经接近满分；在MMBench等综合视觉测试中，许多模型的得分都在80分以上。然而，面对ZeroBench的挑战，所有这些"学霸"都败下阵来。
为了让结果更加全面，研究团队还进行了多次抽样测试，即让每个AI模型对同一道题进行5次尝试，只要其中一次答对就算通过。在这种相对宽松的评测条件下，结果稍有改善，但仍然惨不忍睹。表现最好的Gemini 2.0 Flash Thinking也只答对了5道题，得分率仅为5%。其他大多数模型的得分都在1-3分之间徘徊。
更令人意外的是，那些以强大推理能力著称的"思考型"AI模型并没有显示出明显优势。o1模型虽然在回答时产生了平均7500个token的长篇思考过程，相当于写了一篇详细的分析文章，但最终的答案准确率并没有比传统模型更高。这就好比一个学生在考试时洋洋洒洒写了好几页纸，但关键问题还是没有答对。
从计算成本的角度来看，这些深度思考模型的表现更加尴尬。o1模型平均每道题需要花费约0.47美元的计算成本，这意味着完成整个ZeroBench测试需要近50美元，而传统模型通常只需要几分钱。然而，昂贵的计算成本并没有带来相应的性能提升。
在子题目的测试中，AI模型的表现稍好一些，但仍然远未达到及格水平。表现最好的Claude 3.5 Sonnet v2在334道子题目中答对了82道，得分率为25.5%。这个结果虽然比主题目好很多，但仍然说明AI在基础的视觉理解任务上存在严重不足。
有趣的是，商用闭源模型和开源模型之间出现了明显的性能差距。在子题目测试中，开源模型中表现最好的QVQ得分为20.47%，比最强的闭源模型低了5个百分点。这种差距反映了当前AI技术发展的不平衡状态。
研究团队还测试了AI模型回答的一致性。他们让每个模型对同一道题回答5次，只有5次都答对的情况下才算真正掌握。结果显示，所有模型在这个更严格的标准下的得分都是0%，这意味着即使偶尔答对了某道题，AI模型也无法稳定地重现这个结果。
这种不一致性暴露了AI视觉理解的另一个根本性问题：缺乏稳定性和可靠性。真正的理解应该是稳定和可重复的，而不是偶然的幸运猜测。这就像一个学生偶尔能解对一道复杂的数学题，但让他再做一遍同样的题目时却答不出来，说明他并没有真正掌握解题方法。
四、AI视觉能力的软肋：错误模式深度剖析
通过对AI模型在ZeroBench上的表现进行深入分析，研究团队发现了一个令人深思的现象：AI的失败主要源于视觉解读能力的不足，而非逻辑推理能力的缺陷。这就好比一个学生具备了很强的数学计算能力，但却看不清楚题目上的数字和符号。
最常见的错误类型是计数问题。即使是看起来相对简单的计数任务，AI模型也频频出错。研究团队展示了两个典型例子：在一个相对简单的场景中，要求AI数出货架第一层缺少的Montellier瓶子数量，多个先进模型都给出了错误答案。更复杂的情况下，面对一堆叠放的面包（Sangak），AI需要数出总数量，结果更是差距悬殊，有些模型的估计值与实际数量相差数十个。
这种计数错误反映了AI视觉系统的根本性缺陷。人类在计数时会建立清晰的视觉-空间映射，能够系统地跟踪已经数过的物体和尚未计算的物体。而AI似乎缺乏这种组织化的视觉注意力机制，更像是在进行随机的视觉采样，而不是有序的计数过程。
空间推理是另一个重大薄弱环节。在一道涉及圆形重叠关系的题目中，AI需要识别哪些圆形对是完全分离的（不重叠的）。这个任务对人类来说相对简单，只需要逐一检查圆形对之间是否存在重叠区域。然而，多个AI模型都无法准确完成这项任务，经常将重叠的圆形对误判为分离状态，或反之。
更令人担忧的是AI在处理指向关系时的表现。在一个涉及波斯语书法的题目中，不同颜色的箭头指向不同的字母，要求AI按照特定顺序读出这些字母并翻译成英语。这个任务结合了空间定位、符号识别和语言翻译多个能力，结果显示AI在最基础的空间定位环节就出现了问题，无法准确识别箭头所指向的具体字母。
时间和空间的复合推理是AI面临的另一个重大挑战。在一个涉及时钟读取的题目中，AI不仅需要识别时针和分针的位置，还要理解时钟的特殊朝向，并结合"现在是晚上"这一情境信息来计算距离中午的时间。这种多层次的信息整合对AI来说显得格外困难。
令人意外的是，即使在相对简单的视觉识别任务上，AI也会犯出人意料的错误。在一个要求识别"非典型手部"图像的任务中，AI需要在16张手部图像中找出那些具有异常特征的图像，比如手指数量不正常或形状怪异。然而，多个AI模型都无法准确识别这些明显的视觉异常，有时甚至将正常的手部误判为异常。
镜像和反射是AI视觉系统的另一个盲点。在健身房的镜子前，AI需要数出哑铃的总数量，这要求它能够区分真实物体和镜像反射。结果显示，AI经常被镜像所迷惑，要么重复计算镜像，要么完全忽略镜像中可见的信息。在另一个例子中，手表的显示屏部分被遮挡，但通过镜像可以看到完整的时间显示，AI却无法有效利用这个镜像信息。
逻辑电路追踪代表了视觉推理的高级形式。在一个数字逻辑电路的题目中，AI需要跟踪信号通过各种逻辑门的传播路径，并计算最终的输出值。这种任务需要AI具备精确的线路追踪能力和逻辑运算能力的结合。结果显示，AI经常在信号追踪的早期阶段就出现错误，导致最终结果完全错误。
图形导航是另一个暴露AI局限性的领域。在一个网络图中，AI需要根据边上的标签按照特定序列进行导航，并识别第一个被重复访问的节点。这个任务类似于在复杂的地图上按照指示进行导航，对人类来说是一个相对直观的过程。然而，AI在这种任务上的表现表明，它们缺乏有效的空间记忆和路径追踪机制。
更深层次的分析揭示了这些错误的共同特征：AI模型在需要精确视觉定位、空间关系理解和序列化处理的任务上表现最差。这些能力对人类来说是如此自然，以至于我们很少意识到它们的复杂性。然而，对AI来说，这些看似基础的能力却是最难掌握的。
研究团队指出，这种错误模式的分布与之前的一些研究结果形成了有趣的对比。在多图推理基准ReMI上的类似分析发现，AI的主要问题在于逻辑推理而非视觉理解。这种差异可能反映了AI技术发展的不同阶段：早期的模型在逻辑推理上相对较弱，而新一代模型在推理能力上有了显著改善，但视觉理解能力的提升相对滞后。
五、技术细节揭秘：评测方法的精妙设计
ZeroBench的评测方法体现了研究团队在设计上的诸多巧思，每一个细节都经过深思熟虑，确保能够公平、准确地评估AI模型的真实能力。
在模型选择上，研究团队涵盖了当前AI技术的各个主要流派。推理型模型如o1系列和QVQ代表了"慢思考"的技术路线，它们会花费大量计算资源进行深度推理。传统的大型多模态模型如GPT-4o、Gemini系列和Claude系列则代表了"快反应"的技术路线。开源模型如Llama、Qwen和NVLM则为评测提供了开放性的参照点。这种全方位的模型覆盖确保了测试结果的代表性和说服力。
提示词设计遵循了简洁而有效的原则。研究团队没有使用复杂的提示工程技巧，而是采用了标准化的对话格式，包含图像、问题文本和一个简单的引导语句："让我们一步步思考，并将最终答案放在花括号中"。这种设计既鼓励AI进行链式推理，又确保答案格式的一致性，便于自动化评测。
超参数设置体现了对不同推理模式的考虑。在确定性评测中，所有模型都使用贪婪解码（温度设为0），并设置随机种子以确保结果的可重现性。在随机性评测中，研究团队将温度设为0.7，top-p设为0.95，这些参数接近于各模型的默认推荐设置，反映了模型在实际应用中的表现。
答案评测采用了精确匹配的严格标准。考虑到ZeroBench的题目大多要求数值答案，研究团队使用自动化解析来提取花括号中的答案，然后与标准答案进行精确比较。这种做法排除了部分正确的可能性，确保只有完全正确的答案才被认可。对于少数无法遵循输出格式的模型（如o1 pro和QVQ），研究团队使用Gemini 2 Flash作为辅助评判器来解析最终答案。
推理链条的处理反映了对真实应用场景的考虑。如果AI模型的推理过程超出了最大token限制而无法给出最终答案，这个回答会被直接判定为错误。这种严格的处理方式模拟了实际应用中的资源限制，确保评测结果的实用性。
为了更深入地理解模型能力的差异，研究团队设计了子题目评测系统。每个主题目被分解为平均3.3个子题目，这些子题目通常对应主题目解答过程中的关键步骤或中间结果。子题目的设计遵循了由易到难的原则，让研究者能够精确定位AI模型在哪个环节出现了问题。
pass@k评测提供了对模型稳定性的洞察。在这种评测模式下，AI模型对每道题目生成k个不同的回答，只要其中一个正确就算通过。这种方法能够揭示模型偶尔答对某道题是否源于真正的理解还是随机的幸运。相应地，k/k可靠性测试要求所有k个回答都正确，这是对模型一致性的严格考验。
成本分析为实际应用提供了重要参考。研究团队详细记录了每个模型完成测试所需的token数量和相应的API调用成本。结果显示，传统模型的单题成本通常在几分钱以内，而深度推理模型的成本可能高达每题0.5美元。这种成本差异对于大规模应用具有重要意义。
多图像处理体现了对复杂视觉场景的考虑。ZeroBench包含7道多图像题目，要求AI模型整合来自不同图像的信息。在技术实现上，大多数模型支持在单个提示中包含多张图像，但对于某些模型（如通过vLLM部署的模型），研究团队将多张图像拼接成单一图像来处理。
图像分辨率的处理确保了公平性。所有模型都使用原始高分辨率图像进行评测，避免了因图像压缩或降采样导致的信息丢失。这一点特别重要，因为ZeroBench中的许多题目要求AI识别精细的视觉细节。
为了保证测试的完整性，研究团队还实施了严格的质量控制措施。所有题目在正式发布前都经过了社区红队测试，邀请外部研究者查找可能的问题。这个过程发现并修正了23%主题目中的各种问题，确保了最终版本的高质量。
时间控制反映了对模型发展速度的考虑。所有API调用都在严格控制的时间窗口内完成，避免了因模型版本更新导致的结果差异。这种做法确保了不同模型之间比较的公平性。
六、深远影响与未来展望：重新审视AI的视觉智能
ZeroBench的研究结果不仅仅是一个测试数据的集合，它更像一面镜子，让我们重新审视当前AI技术的真实状态和发展方向。这项研究的意义远超出了学术界的范畴，对整个AI产业和社会都具有深远的启示意义。
从技术发展的角度来看，ZeroBench揭示了一个令人深思的现象：AI技术的进步并非在所有维度上都是均衡的。虽然新一代的推理模型在逻辑思考和语言处理方面取得了显著进步，但在基础的视觉理解能力上却仍然存在根本性缺陷。这种不平衡发展就像一个在数学方面天赋异禀但在基础观察能力上有缺陷的学生，提醒我们需要更加全面地看待AI能力的发展。
研究团队预测，ZeroBench的"不可能"状态不会持续太久。考虑到AI技术的快速发展速度，未来的模型很可能会在ZeroBench上取得显著进步。然而，这种进步的形式和时间轴仍然充满变数。进步可能是渐进式的，随着模型规模和训练数据的增加而稳步提升；也可能是跃迁式的，某个关键技术突破可能导致性能的大幅跳跃。
一个特别值得关注的技术方向是图像分辨率的提升。目前的AI模型由于计算资源的限制，通常需要将输入图像压缩到较低的分辨率进行处理。ZeroBench中的许多题目要求识别精细的视觉细节，如果AI能够处理更高分辨率的图像，可能会在这些任务上取得显著改善。这就像给一个近视的学生配上眼镜，突然间很多之前看不清的细节都变得清晰了。
另一个潜在的突破方向是视觉注意力机制的改进。人类在处理复杂视觉场景时会有序地分配注意力，系统性地扫描和分析不同区域。如果AI能够开发出类似的视觉注意力策略，在计数、跟踪和空间推理等任务上的表现可能会有质的提升。
从研究方法论的角度来看，ZeroBench开创了一种新的基准设计范式。传统的AI评测往往追求题目数量的庞大和覆盖面的广泛，而ZeroBench证明了"少而精"的设计理念同样有效。这种轻量级的设计特别适合评测那些计算成本高昂的深度推理模型，为未来的AI评测提供了新的思路。
社区红队测试的成功实施也为AI评测的质量保证提供了宝贵经验。通过邀请外部研究者参与题目审查，ZeroBench不仅提高了自身的质量，也展示了开放协作在科学研究中的价值。这种模式可能会被更多的研究项目采用，形成更加开放和协作的研究生态。
对于AI产业而言，ZeroBench的结果提供了重要的现实检验。尽管AI模型在营销宣传中往往被描述为具有接近人类的视觉理解能力，但ZeroBench的结果表明，在真正需要深度视觉推理的任务上，当前的AI仍然有很长的路要走。这种现实检验有助于行业建立更加务实的期望，避免过度夸大AI的当前能力。
从商业应用的角度来看，ZeroBench暴露的AI视觉能力限制对许多实际应用都有直接影响。在需要精确视觉分析的场景，如医疗影像诊断、工业质量检测、自动驾驶等领域，这些基础视觉能力的不足可能会带来严重后果。企业在部署AI系统时需要充分考虑这些限制，设计适当的人工审查和错误纠正机制。
教育意义同样不容忽视。ZeroBench的结果提醒我们，AI教育不应该只关注模型的优势和成功案例，也要让学生了解AI的局限性和失败模式。只有全面理解AI的能力边界，才能更好地设计和应用这些技术。
对于学术研究而言，ZeroBench为视觉AI的研究指明了新的方向。与其继续在已经接近饱和的传统任务上进行微调，研究者们可能需要将更多精力投入到这些基础视觉能力的改善上。这可能需要重新思考AI模型的架构设计、训练方法和数据收集策略。
伦理和安全角度的考量也不可忽视。AI在基础视觉任务上的不稳定表现意味着，在安全敏感的应用中部署这些系统时需要格外谨慎。不能仅仅因为AI在基准测试中得分很高就认为它们已经可以胜任所有视觉任务。
未来的研究方向可能会更加注重跨模态的能力整合。单纯提升视觉处理能力可能还不够，更重要的是如何将视觉理解与语言理解、逻辑推理和常识知识有机结合，形成更加全面和稳定的AI系统。
ZeroBench还引发了关于AI评测本质的深层思考。什么样的任务才能真正测试AI的智能水平？如何在技术快速发展的环境中保持评测的相关性和挑战性？这些问题没有标准答案，但ZeroBench提供了一个有价值的探索方向。
说到底，ZeroBench最重要的贡献可能不是证明了当前AI的不足，而是为我们提供了一个清晰的目标和测量工具。它就像一座灯塔，指引着AI研究的方向，提醒我们真正的人工智能还有很长的路要走。在这个AI能力被频繁夸大的时代，ZeroBench的存在显得尤为珍贵，它帮助我们保持谦逊和清醒，专注于真正重要的技术挑战。
随着AI技术的继续发展，ZeroBench可能会逐渐被攻克，但它所代表的严格评测理念和对AI真实能力的关注将会持续影响这个领域的发展。这项研究告诉我们，建设真正智能的AI系统不仅需要强大的计算能力和复杂的算法，更需要对基础认知能力的深刻理解和持续改进。这个认识本身，就是ZeroBench为AI研究带来的最宝贵财富。
Q&A
Q1：ZeroBench是什么？为什么所有AI模型都得0分？
A：ZeroBench是剑桥大学研究团队开发的视觉推理测试，包含100道精心设计的题目，专门用来测试AI的真实视觉理解能力。所有20个顶级AI模型（包括GPT-4o、Claude、Gemini等）都得了0分，是因为这些题目经过严格筛选，只保留那些当前AI完全无法解答的"不可能任务"，暴露了AI在基础视觉推理上的严重不足。
Q2：ZeroBench和其他AI测试有什么不同？
A：传统AI测试大多是多选题形式，AI可能通过模式匹配"蒙对"答案，而且随着AI发展，这些测试的分数越来越高，失去了区分度。ZeroBench要求精确的数值答案，需要多步推理，无法靠猜测通过。更重要的是，它只包含100道题，轻量化设计适合测试计算成本高昂的新一代"深度思考"AI模型。
Q3：AI在ZeroBench上失败说明了什么问题？
A：主要暴露了AI视觉理解能力的根本缺陷，特别是在计数、空间推理、精细视觉识别等基础任务上的严重不足。虽然AI在逻辑推理方面已有显著进步，但视觉理解能力发展滞后。这提醒我们不能被AI在标准测试中的高分迷惑，它们在需要真正视觉智能的复杂任务上还有很长的路要走。
上一篇：中南大学等机构突破难题：让AI真正理解长文本并生成完美图像，TextAtlas5M数据集问世
下一篇：芯片设计的新武器：阿里云如何让AI帮工程师走出设计迷宫
