【科技】

多模态AI视觉理解局限性与“海市蜃楼”效应的述略

　　在多模态人工智能技术狂飙突进的当下，前沿模型在各类图像理解、医疗影像诊断等基准测试中展现出的高分表现，常常给外界一种其已经具备高度“视觉理解”能力的感官判断。然而，近期由斯坦福大学李飞飞团队领衔的跨学科研究小组发表的一篇名为《Mirage: The Illusion of Visual Understanding》（《海市蜃楼：视觉理解的幻觉》）的学术报告，在很大程度上打破了这一认知常识，引发了学术界对多模态模型内在响应机制的广泛反思。

　　本报告尝试性探讨研究团队通过系统性消融实验揭示出的“海市蜃楼推理（Mirage Reasoning）”现象，并对多模态评估中普遍存在的文本线索泄露、高风险场景下的“盲视推理”风险进行粗浅观察与逻辑梳理。

一、概念界分：从“细节幻觉”到框架层面的“海市蜃楼”

　　在过往的研究中，行业通常将多模态模型的错误归结为“幻觉（Hallucination）”。一般而言，传统的幻觉发生在有图像输入的前提下，即模型在观察到图像后，在回答中填充了与事实不符的、或是不存在的局部细节（如捏造并不存在的背景物品）。

　　然而，李飞飞团队提出的“海市蜃楼推理”则指向了一个更为离奇、也更令人深思的失败范式：模型在根本没有任何图像输入（甚至图像根本未上传成功）的情况下，依然表现得如同真的接收到了图像，并基于这个完全虚构的认知框架进行极为详细、笃定的推理。系统在面临信息缺失时，通常不会选择表达不确定性或请求重新上传，而是静默地依靠语言先验和语料库的统计规律，“脑补”出一张符合题干描述的图像并开始诊断。

二、实验剖析：被悄悄抽离的图像与“超级猜测器”

　　为了在量化层面证实这一现象的普遍性，研究团队开展了多项具有说服力的控制实验：

1. Phantom-0基准与消融测试

　　研究者构建了包含200道视觉开放问题的Phantom-0测试集，跨越医学、生物、艺术等20个领域。在将图像悄悄移除且未告知模型的前提下，测试发现，GPT-5、Gemini等主流前沿多模态模型在无图情况下的“海市蜃楼率”平均超过60%。如果加上日常对话中常见的标准化提示词（如“请根据图中视觉证据分析”），该比例甚至倾向于飙升至90%至100%。模型基本展现出完全假装看见图片的倾向，并流畅地完成了推理。

2. 评测基准中的文本泄漏

　　通过对MMMU-Pro、VQA-Rad等6个主流多模态基准进行“图像消融”实验，结果显示，模型在无图状态下平均保留了原始（有图）准确率的70%至80%。这意味着，现有评测体系中的大部分题目，在很大程度上可能根本不需要看图片，仅凭题干中的文本线索和语言常识就能够被“猜”出正确答案。

3. 纯文本“超级猜测器”的逆袭

　　为了进一步验证这一猜测，团队使用胸片数据集的文本问答对，训练了一个30亿参数的纯文本语言模型（不具备任何视觉接收模块）。结果显示，在ReXVQA医学测试集上，这个“没见过一张图”的纯文本模型，其成绩不仅超越了多模态模型，甚至比人类专业放射科医生的平均水平还要高出10个百分点。这一发现不排除说明，很多所谓的视觉理解测试，本质上考察的可能只是模型的“文本推理与统计规律拟合”能力。

三、两种内部响应机制的辩证发现

　　研究中另一项有趣的发现是，当显式告知模型“图像已被移除，请根据文本猜测”时，模型的准确率反而会出现显著下降；而当悄悄把图拿走、让模型继续以为图存在时（海市蜃楼模式），分数却能维持在高位。我们认为，这一对比结果表明模型内部可能存在至少两套不同的响应路径：

　　其一，是被动、保守的“猜测模式”，在此模式下模型会采用较为严谨和克制的纯文本策略；其二，则是主动、自信的“海市蜃楼模式”，模型倾向于在判定图片存在的前提下，充分激活隐藏的语言结构信息，自己完成空间场景的脑补和推演。

　　这一机制的发现，某种程度上说明多模态AI模型在黑盒化的状态下，具有极其复杂的自组织联想特征，也对过去单纯通过无图测试作为控制变量的做法提出了方法论上的质疑。

四、高风险场景下的系统性失败隐忧

　　我们认为，海市蜃楼效应在通用图像描述领域也许仅表现为一种有趣的“技术溢出”或无伤大雅的漏洞，但如果其发生在医疗、工业、具身智能等高风险、零容错的严肃场景中，则可能带来严重的现实隐患。

　　在医学测试中，当模型假装看片子时，其给出的诊断报告往往表现出显著的病理偏向（如倾向于诊断心肌梗死、癌症等严重病症），并且会凭空编造出具体的影像学描述。如果系统在API管道中遭遇数据丢失，或者由于传感器离线导致视觉输入中断，模型可能会陷入“静默失败模式（silent failure mode）”，在毫无实际感知的前提下输出极其自信的诊断或控制指令，这无疑对人身安全构成了潜在挑战。

五、行业启示：从语言模型走向“世界模型”的代际演进

　　看清了“海市蜃楼”的虚影后，AI技术未来的演进路径指向了更深维度的范式反思。基于目前信息研判，要真正解决这一痛点，通常需要我们在底层框架上进行方向性的调整：

　　首先，从研发与评测维度来看，必须推动“合规检测前置与算法红队测试”，利用“多模态原子化对齐”与物理守恒律，对生成式大模型的输出执行强制的逻辑一致性校验，将纯粹的概率生成约束在确定性的物理常识边界之内。

　　其次，从认知演化史来看，正如李飞飞在多次公开演讲中强调的，语言文字在生物演化史上不过是最近几十万年的产物，而视觉、触觉所代表的对物理空间的“空间智能（Spatial Intelligence）”，早在数亿年前就已经在自然选择中被锤炼成熟。因此，AI的下一步发展，倾向于从单纯的“语言大模型（LLM）”向理解物理世界三维结构、物体属性和运动规律的“世界模型（World Model）”进行代际演进。

　　我们认为，在数字技术的演进长跑中，实事求是地直面算法局限，构建安全可信的“人类在环”验证机制，通常比一味追求绝对分数的虚繁荣更为关键。不要因为多模态AI给出的语言回答详细，就默认那是其真实观察的结果。在科技向善的道路上，厘清“表演”与“理解”的边界，或许是我们在迈向智能未来时，必须首先学会的一堂谦逊之课。