如何测试多模态 AI 的真实能力：11 组可复用提示词与评分方法

一个模型能把图片描述得很流畅，并不代表它真的看懂了物体位置、空间关系、动作顺序或因果过程。尤其当问题暗含错误前提时，模型可能给出自信却缺少证据的答案。

这里整理了 8 组图片相关测试 + 3 组视频／时序压力测试。目标不是给模型制造难题，而是尽量区分观察到的事实、合理推断和没有依据的猜测。

测试范围说明： 这是一份可复用的测试设计和提示词集合，不是已经完成的正式基准测试报告。图片示例与视频任务应分开评价；静态拼图即使有连续动作，也不能代替真实视频的精确时间戳测试。没有真实视频输入能力的模型，不应被要求或宣称完成视频理解。

一、先准备一个公平的测试环境

不同模型的对比需要尽量控制变量，否则分数可能只是输入方式不同：

1. 核对模态能力： 区分纯文本模型、支持图片输入的视觉语言模型，以及真正能处理视频帧序列的系统。无法读图时应记为“不适用／不支持”，而非随意给 0 分。
2. 固定素材： 同一批测试应使用同一原图或原视频；记录分辨率、是否裁剪、是否有文字标签、帧间隔等。
3. 保持提示词一致： 尽量用新会话测试，避免先前回答泄露“正确答案”；记录系统提示与关键参数。
4. 保留原始输出： 不要只截图精彩的一部分。成功、误识别、答非所问和拒答都应留存。
5. 预设参考答案： 对计数、颜色、边界框或事件顺序，由人工先独立核对；开放式推理可按证据与逻辑评分。
6. 允许“不知道”： 无法从图像确认的速度、距离、被遮挡物体或时间戳，不应强制模型猜出数字。

本文配图已整理为博客内的相对路径，方便随 Markdown 一起部署。八张正文配图的公开使用权已由站主确认。

二、八组图片能力测试

01｜基础视觉识别

重点：能否正确识别物体、数量、颜色、位置，并把不确定信息标出来。

可复制提示词

请观察上传的图片，逐项回答：
1. 列出能够明确识别的物体及可见数量。
2. 描述各物体的颜色、外形和画面位置。
3. 指出明显的遮挡、接触和相邻关系。
4. 将“直接看到的内容”与“根据常识推测的内容”分开写。
5. 如果物体或细节不能可靠判断，直接说明不确定。

不要根据物品的常见搭配补充图片里没有出现的东西。

评分重点： 物体识别、数量正确率、颜色判断与证据一致性；优美措辞不加分。

02｜空间关系与方位理解

重点：能否区分画面左／右、物体自身方位、前／后与遮挡。

以图像中的桌面为参考，分析蓝色杯子与其他物体的关系。
1. 哪些物体位于杯子的画面左侧、右侧、前方或后方？
2. 哪些物体明显接触？哪些明显不接触？
3. 如果要拿起图中苹果，描述一个合理的动作顺序。
4. 哪些关系会受拍摄视角或遮挡影响，不能确定？

请为每个判断指出可见依据。
“画面左侧”不自动等于“物体自身的左侧”。

评分重点： 坐标参照是否清楚，是否把照片二维位置误说成确定的三维距离。

03｜物理常识与因果推理

重点：结合画面推导可能变化，而非将推测当作既成事实。

依据这张图片：
1. 描述物体当前可见的形态、支撑与接触情况。
2. 在没有新增外力的假设下，接下来可能发生什么？
3. 哪些因素与重力、摩擦、支撑或惯性有关？
4. 将确定的观察、条件成立时的推断、无法确认的因素分开。
5. 选择一个关键条件做反事实推演，说明结果可能怎样变化。

不要假定画面中看不到的速度、质量、摩擦系数或外力数值。

评分重点： 物理规律是否自洽，条件与结论是否匹配。

04｜交通场景与风险判断

重点：描述可见风险，不假装可以从单帧准确计算速度或预测事故。

仅根据上传画面的可见信息：
1. 识别车辆、行人、信号和障碍物。
2. 指出可能发生路径冲突的对象和画面依据。
3. 列出需要重点注意的风险，并区分已经发生与可能发生。
4. 说明单张图片无法可靠判断的速度、距离和信号变化。
5. 从保守安全的角度提出需要进一步观察的信息。

不要输出确定的碰撞预测，也不要把本回答当作驾驶指令。

评分重点： 风险证据是否真实、缺失信息是否标注；此测试不构成真实交通安全系统验证。

05｜动作识别与时序推理

重点：是否识别阶段顺序，并且明确输入是视频还是静态多帧图。

如果输入是真实视频：

请按时间顺序分析上传视频：
1. 列出主要动作阶段及可验证的时间戳。
2. 描述每阶段物体或人物的位置、姿态和运动变化。
3. 区分视频直接展示的动作与对其目的的推测。
4. 对无法可靠确定的时间或速度，明确标注“不能确定”。
5. 简述下一步可能发生的动作及推断条件。

不要给出超出视频实际时间范围的时间戳。

如果输入只是若干静态帧／拼图：

这是一组静态图片，不是带真实时间轴的视频。
请按画面呈现顺序，用“第 1 帧、第 2 帧……”描述变化。
不要编造秒数或帧率；如果无法确定先后顺序，请说明原因。
请区分画面上的动作标签与实际可见证据。

评分重点： 阶段顺序是否正确，以及有无虚构时间戳。仅输入静态图时，“时间戳准确性”应记 N/A。

06｜机器人具身推理

重点：从感知走到可执行计划，但不假定系统已经控制了实体机器人。

假设你是移动操作机器人，但目前只得到这张静态图。
1. 说明任务目标需要哪些额外信息才能确定。
2. 概述画面中可见的障碍、可移动物体与可疑遮挡。
3. 设计一条分步行动方案，逐步写出前置条件和验证动作。
4. 列出可能导致碰撞、夹伤、抓取失败的风险。
5. 如果缺少深度、抓取尺寸或传感器反馈，明确提出需要补充的输入。

这是一道规划能力测试，不要声称已经完成真实机器人动作。

评分重点： 步骤是否有条件与反馈闭环，是否承认单张图片的局限。

07｜物体定位与空间 Grounding

重点：目标定位是否与画面一致，坐标输出是否在规定范围内。

请定位图中的螺丝刀、扳手和钳子（若它们确实可见）。
每种物体输出：
- object：物体名称
- bbox：归一化边界框 [x1, y1, x2, y2]
- center：归一化中心点 [x, y]
- visibility：清晰 / 部分遮挡 / 无法可靠定位
- evidence：判断依据

坐标原点在图像左上角，x 向右、y 向下，
坐标均在 0–1000 之间；边界框尽量贴合可见轮廓。
若找不到目标，请写 null，不允许编造坐标。

评分重点： 边界框位置与目标是否一致，可使用人工框作为参照计算 IoU；模型自报“置信度”不一定是校准过的概率。

08｜抗幻觉与不确定性

重点：面对问题中暗示存在的物体，能否在证据不足时拒绝猜测。

检查图中是否可见以下三个目标：
- 紫色斑点猫
- 透明的红色雨伞
- 微型直升机

每项只能选择一个结果：
A. 明确可见
B. 可能存在，但证据不足
C. 当前画面中未发现
D. 图像条件不足，无法判断

请逐项给出一句可见依据。
问题提到的物体不代表它真的出现。
“当前画面中未发现”也不意味着现实场景里绝对不存在。

评分重点： 是否虚构目标，是否把遮挡与不确定性表达清楚。

三、三个进阶压力测试

下列内容需要视频能力，或能够明确知道帧序号／时间戳的输入链路。没有这些条件时，不能把生成的秒数当作证据。

A｜视频因果推理

素材： 一段球滚向桌边并可能掉落的短视频，保留原始时间轴。

观察视频中球与桌面的变化：
1. 初始球处于什么状态？
2. 球何时开始移动？何时失去桌面支撑？
3. 离开桌面后，哪些变化由重力解释？
4. 哪些结果还取决于初速度、摩擦或拍摄角度？
5. 如果片段在球离开桌面前结束，哪些后续结果仍不能确定？

引用能在原视频中核对的时间戳或事件，
明确区分“看到”“推断”和“预测”。

评分重点： 事件顺序、因果解释、时间证据和对未展示结果的克制。

B｜反事实物理推理

素材： 与 A 相同的视频，用同一原始条件提问。

反事实假设：在球离开桌面的瞬间，额外获得向右的水平速度。
其他条件保持不变。

1. 运动轨迹相对原情景会如何变化？
2. 哪些物理规律仍然成立？
3. 落地点可能朝哪个方向变化？
4. 要精确计算落地点，还缺少哪些数值？
5. 哪些结论是定性判断，不能输出具体数值？

不要编造质量、高度、速度、摩擦系数等参数。

评分重点： 是否真的重新推导，而不是复述视频说明。

C｜多目标跟踪与遮挡

素材： 至少出现三个可区分运动目标的真实视频。

请选三个可区分的运动目标，建立临时 ID：A、B、C。
分别列出：
1. 首次可确认出现的时间或帧序号；
2. 主要运动方向与位置变化；
3. 交叉、遮挡或离开画面的事件；
4. 遮挡后身份是否能够可靠延续；
5. 哪些对象存在身份交换或认错的风险。

对无法确定的身份或时间，请直接标记不确定。
不要为了输出完整而编造目标、轨迹或时间戳。

评分重点： 目标身份保持、时序一致性、遮挡处理和不确定性管理。

四、怎样评分才不会被“漂亮回答”误导？

建议每个适用维度按 0–5 分评分；不适用记 N/A，不进入分母。同一测试可重复数次，记录波动，不要用一次最好成绩代表总体表现。

不要把各类开放题简单相加当作“模型通用智商”。 图片任务与视频任务、确定答案题与开放推理题各有不同的证据强度。若需跨模型比较，应统一评分员、素材、版本和输入流程，并公布样本量。

单项测试记录模板

测试日期：
模型名称 / 量化版本：
客户端与推理服务版本：
输入模态：图片 / 视频 / 带时序信息的多帧图
素材 ID、大小、分辨率：
系统提示与用户提示：
推理参数与上下文设置：
预先确认的参考答案：
模型原始回复：
观察到的错误／不确定性：
评分维度与分数（N/A 说明）：
是否复测、复测次数：
原始截图或日志的保存位置：

五、测试中最常见的误区

• 错把静态帧当视频： 没有真实时间轴的多帧图，不应要求精确秒数。
• 只看回复长度： 叙述丰富并不等于目标数量、方位和因果正确。
• 把模型自报置信度当概率： 未校准的“90% 确信”只是一段文字。
• 样本泄漏： 对同一图片多次纠错，再让模型回答，不能算完全独立的首次测试。
• 将第三方演示视为自己的复测： 保存明确的来源、模型版本、输入与原始结果。
• 忽略错误和拒答： 保留失败样本，才能理解模型在什么条件下不可靠。

结语

更好的多模态评测，不在于提示词问得多难，而在于问题是否可检验、输入条件是否明确，以及模型能否承认自己不知道。从简单识别开始，再逐步增加空间、因果、时序和抗幻觉测试，通常比一次性问“大模型到底有多聪明”更有诊断价值。

编辑说明：按 2026-10-11 设置博客发布日期，2026-10-24 完善了测试方法、图片相对路径、静态帧与视频的区别及评分模板。本文不包含虚构的实测成绩；八张示例图片的公开使用权已由站主确认。