下面是 GPT-4V 的视觉识别能力：
- 物体检测：GPT-4V 可以检测和识别图像中的常见物体，如汽车、动物、家庭用品等。我们在标准图像数据集上对其物体识别能力进行了评估。
- 文本识别：该模型具有光学字符识别（OCR）功能，可检测图像中的印刷或手写文本并将其转录为机器可读文本。在文档、标志、标题等图像中进行了测试。
- 人脸识别：GPT-4V 可以定位和识别图像中的人脸。它还能根据面部特征识别性别、年龄和种族属性。在 FairFace 和 LFW 等数据集上对其面部分析能力进行了测试。
- 验证码求解：该模型显示出了视觉推理能力，可以解决基于文本和图像的验证码问题。这表明它具有高级解谜能力。
- 地理定位：GPT-4V 在识别风景图片中描述的城市或地理位置方面具有一定的技能。这表明该模型吸收了世界知识。
- 复杂图像：该模型在准确解读复杂的科学图表、医学扫描图像或包含多个重叠文字部分的图像方面存在困难。它忽略了背景细节。
视觉推理的局限性
- 空间关系：该模型很难理解图像中物体的精确空间布局和位置。它可能无法正确表达物体之间的相对位置。
- 重叠物体：当图像中的物体严重重叠时，GPT-4V 有时无法区分一个物体在哪里结束，下一个物体在哪里开始。它可能会将不同的物体混合在一起。
- 背景/前景：该模型并不总是能准确感知图像中哪些物体处于前景，哪些物体处于背景。它可能会错误地描述物体之间的关系。
- 遮挡：当图像中的某些物体被其他物体部分遮挡或遮住时，GPT-4V 可能无法识别被遮挡的物体或忽略它们与周围物体的关系。
- 小细节：该模型经常会遗漏或误解图像中非常小的物体、文本或复杂的细节，从而导致错误的关系描述。
- 上下文推理：GPT-4V 缺乏强大的视觉推理能力，无法深入分析图像的上下文并描述物体之间的隐含关系。
- 信心：即使在没有图像支持的情况下，模型也可能错误地描述对象关系，或以很高的可信度捏造关系。