清华推出新一代图像理解大模型：可识别《原神》等

清华KEG实验室近日和智谱AI合作，联合推出了新一代图像理解大模型CogAgent。

该模型基于此前推出的CogVLM，通过视觉GUI Agent，使用视觉模态（而非文本）对GUI界面进行更全面直接的感知，从而作出规划和决策。

CogAgent可以接受1120×1120的高分辨率图像输入，具备视觉问答、视觉定位（Grounding）、GUI Agent等多种能力，在9个经典的图像理解榜单上（含 VQAv2，STVQA, DocVQA，TextVQA，MM-VET，POPE 等）取得了通用能力第一的成绩。

例如，用户输入一张关于CogVLM项目的GitHub的图片，然后询问如何给这个项目点“Star”，然后CogAgent就会反馈出结果。

例如用户输入一张原神游戏的截图，可以询问“当前任务中的队友是谁？”，CogAgent会给出相关的回答。