结伙多模态大模子（U-MLLMs）渐渐成为研讨热门自慰 英文，近期 GPT-4o，Gemini-2.0-flash 都展现出了不凡的衔尾和生成才智，况且还能竣事跨模态输入输出，比如图像 + 文本输入，生成图像或文本。

比较传统的多模态模子（比如 GPT-4V 或 DALL · E 3），这类模子在职务妥当性和机动性上更具上风。然则，刻下研讨限制还存在几个隆起的问题：

1. 评测圭臬零乱：不同研讨选用的评测数据集与方针各不疏导，使得模子之间难以公说念比较；

2. 搀和模态生成才智虚浮评测体系：例如，在图像中画援助线解题、字据推理遵循生成图像等案例固然很有代表性，但莫得结伙的 benchmark 八周全面测评这类才智。

这些问题严重甘休了 U-MLLMs 的发展和落地利用，因此焦虑需要一个系统、圭臬的评测框架。

主要孝顺

MME-Unify（简称 MME-U）恰是为了措置上述问题而建议的，具体孝顺如下：

初度建议结伙评测框架：MME-U 是第一个涵盖"衔尾"、"生成"与"结伙任务（搀和模态生成）"的 benchmark，维持从不同维度系统性评估 U-MLLMs 的空洞才智。

构建隐敝浮浅的任务体系：

从 12 个现存数据皆集筛选整理，酿成 10 大类任务，包含 30 个子任务

衔尾类任务涵盖：单图感知、多图推理、视频衔尾等；

生成类任务涵盖：文本生成图像、图像裁剪、图像转视频等。

结伙评测圭臬：

将理撤职务结伙滑为多选题，使用准确率看成评测方针；

将生成任务的多种方针圭臬化、归一化，输出结伙分数，便于横向比较。

联想五类"结伙任务"，考验模子对多模态信息的协同处理才智：

图像裁剪与施展：

模子需衔尾裁剪指示并践诺；

知识问答生成图像：

模子需字据问答内容生成合乎图像；

援助线任务：

条件模子画出解几何题所需的援助线并解题；

找不同（SpotDiff）：

在两张图中找并画出互异；

视觉链式推理（Visual CoT）：

边推理边生成下一步图像遵循。

实测分析 12 个主流 U-MLLMs 进展：包括 Janus-Pro、EMU3、Gemini 2 等，发现它们在多项任务中互异权贵，尤其是在复杂生成任务和指示衔尾方面仍有很大进步空间。

揭示了绽放模子与闭源模子之间的差距：闭源模子如 GPT-4o、Gemini 2.0 Flash 在生成质料与细节收复度方面致使优于一些专用生成模子（如 DALL · E-3）；而绽放模子的性能则尚显不及。

MME-Unify 不仅为结伙多模态大模子的评估提供了缺失已久的圭臬化器用，也进一步鼓舞了这一目的从"炫技"向"实用"迈进，是刻下 U-MLLMs 限制不行或缺的基准评测体系。

分为三个主要评测才智板块，涵盖数据构建、任务联想与评估战术，全体层次澄澈、便于衔尾。

MME-Unify 评测框架联想详解

本节先容 MME-Unify 的数据构建形式、任务标注经过以及结伙的评测纪律。MME-U 将多模态结伙模子才智区分为三大类：

- 多模态衔尾才智

- 多模态生成才智

- 结伙任务才智

多模态衔尾（Multimodal Understanding )

数据构建

衔尾类任务字据视觉输入类型区分为三类：

- SIPU（单图感知与衔尾）：评估图文对的衔尾才智。

- MITIU（多图 / 图文交叉衔尾）：评估模子处理多张图和瓜代图文输入的才智。

- VPU（视频感知与衔尾）：评估模子的视频衔尾才智。

共汇集 1900 个样本，隐敝 OCR、图表领略、空间感知、属性 / 活动推理等 24 种任务，其中感知类任务 1600 条，推理类任务 300 条，每类子任务不少于 50 对 QA 样本。

QA 圭臬化鼎新

为结伙评估圭臬，统统衔尾类任务转为四选一多选题，干预项与正确选项语义接近；无法处理视频的模子则使用要津帧，单图模子取首图。

评估战术

罗致礼貌匹配法过滤谜底（如 MME-Realworld），并赶紧打乱选项法律施展以幸免位置偏差。最终以平均准确率评估衔尾才智。

2.2 多模态生成（Multimodal Generation）

任务类型（6 类）

1. FIR：图像细节重建

2. TIE：文本带领图像裁剪

3. TIG：文本生成图像

4. CIVG：图像 + 文本生成视频

5. TVG：文本生成视频

6. VP：视频掂量（掂量后续帧）

每类任务不少于 200 个样本，数据开端包括 COCO、MSR-VTT、Pexel 等。

数据圭臬化经过

- 属性结伙：将 30 多种属性结伙为 Text Prompt、Src Image、Ref Image、Video 等。

- 任务专属教导语：为每类生成任务联想 prompt 模板，并结伙数据姿色。

各任务先用专属方针（如 CLIP-I、FID、FVD）评估；

再将统统方针圭臬化到 0 – 100 分数区间；

取圭臬化后的平平分看成最毕生成才智分数，竣事跨任务可比性。

2.3 结伙任务才智（Unify Capability）

MME-Unify 全心联想了5 类搀和模态结伙任务，每类任务包括文本与图像双重输入输出，体现 U-MLLMs 的空洞处理才智：

1. 知识问答生成图像（CSQ）

任务：字据知识密语类问题选出正确谜底并生成相应图像（如"国宝" → 熊猫）。

经过：GPT-4o 生成问题，东说念主工搜图，模子需同期答题并作图。

2. 图像裁剪与施展（IEE）

任务：衔尾复杂裁剪指示，生成修改图，并施展修改内容。

构建形式：

文本选项由 GPT-4o 生成，图像干预项由 InstructPix2Pix 生成。

模子需先施展修改内容（文本问答），再输出修改图（图像问答）。

3. 找不同任务（SpotDiff）

开端：SpotDiff 网站

模子需识别图像对的不同区域，输出数量和定位图，考验空间牵记和视觉推理才智。

4. 几何题援助线任务（Auxiliary Lines）

开端：Geometry3K

模子需在图上画出解题援助线，并作答（含逻辑和视觉两部分），考验推理 + 生成整合才智。

5. 视觉链式推理（Visual CoT）

任务：通过渐渐生成导航动作、坐标和迷宫图像来走迷宫，模拟践诺中的多步视觉有联想过程。

每一步包括动作、坐标和图像输出，后续纪律包含历史信息，竣事渐渐 reasoning。

结伙任务评估战术

文本部分：

用 CLIP-T 通常度判断模子生成施展与正确选项的接近进度；或径直选择选项。

图像部分：

用 CLIP-I 磋议生成图与选项图像的通常度，选出最高者。

acc 与 acc+：

acc：文本准确率与图像准确率的平均值；

acc+：文本和图像都答对的样本占比；

关于 Visual CoT，则分别统计动作、坐标、图像的 acc，再取平均。

最终，MME-U 总得分为衔尾分 + 生因素 + 结伙任务分的平均值，组成系统的、全面的模子评估体系。

风趣风趣的实验发现纪念

本文对多模态大模子（MLLMs）和结伙多模态大模子（U-MLLMs）进行了系统性评测，所有涵盖了 22 个主流模子。研讨重心皆集在三个维度：衔尾才智（Understanding）、生成才智（Generation）以及结伙才智（Unify Capability）。评估罗致 MME-U 评分体系，并包含多个细粒度子任务。以下为实验中的要津发现与亮点纪念：

衔尾才智方面

进展最强的模子

是闭源的  Gemini2.0-flash-exp，在统统衔尾类任务中遥遥最初。

开源阵营中进展最佳的是 Janus-Flow 与 Janus-Pro

，它们罗致了两个孤立的视觉编码器，分别用于衔尾与生成任务，见效避让了如 VQGAN 等通用 tokenizer 在图像衔尾上的局限。

罗致单一 tokenizer 的模子（如 Emu3、Show-o）在理撤职务上进展宽绰较差

，即便模子体量相配，也难以达到 Janus 系列的水准。

MIO-Instruct 展现了重大的衔尾才智

，其背后是海量多模态数据（包含图像、视频、音频）与复杂三阶段西席经过的维持，强调了数据各样性在理撤职务中的要紧性。

生成才智方面

在图像生成任务中，U-MLLMs 的进展与专注型生成模子的差距不如理撤职务那么大。

例如来说，Gemini2.0-flash-exp 在 Text-to-Image 任务中致使跨越了 DALL · E 3 六个点，展现出重大的生成后劲。

大批 U-MLLMs（如 EMU3、HermersFlow、GILL）在图像生成任务的平均得分均高于 48，清楚基础图像生成已具一定可用性。

不外，在视频生成任务上还是短板。尽管如 Emu3 宣称具备视频生成才智，但由于虚浮相应 checkpoint，暂时无法考证。

从图像细节收复的角度看，刻下开源 U-MLLMs 与 DALL · E 等模子仍有权贵差距，尤其是在特定文本细节（如 T 恤号码、布景口号等）上的收复。

结伙才智方面（Unify Tasks）

结伙任务对模子建议了更高条件——既要生成合理图像，又要完成对应文本推理。

当今，开源模子中进展最佳的 Anole 在简便任务上也仅有约 60% 的准确率

，在复杂结伙任务上险些莫得模子跨越 30% 准确率。

在视觉链式推理（Visual CoT）任务中，无一模子八观念效完成多步推理与图像生成结合的竣工经过。

分析清楚，结伙任务对模子的多模态交叉才智建议了极高条件，当今还是行业本领瓶颈。

深刻分析与趋势不雅察

刻下模子在基础才智（衔尾 / 生成）与结伙才智之间宽绰存在  "性能量度逆境"：

例如，MiniGPT-5、GILL、Anole 在结伙任务联想上更激进，但斥逐了基础衔尾与生成才智，导致全体分数偏低。

而如MIO-Instruct 固然在基础才智上进展优秀，但在图文交错生成的结伙任务中进展欠安。

这种进展互异教导：现存西席范式未能有用整合基础任务与跨模态任务的学习目的，可能需要再行联想对皆战术或任务搀和西席经过。

纪念

全体来看，U-MLLMs 固然展示了多模态结伙任务的后劲，但距离本色可用仍有显着距离。稀罕是在若何互助衔尾与生成、单步与多步、图文协同等维度，仍存在诸多本领挑战。MME-Unify 提供了一套系统性测评框架，并量化了主流模子的才智上限，为将来模子联想提供了澄澈参照与目的开辟。

神气地址：

https://mme-unify.github.io

一键三连「点赞」「转发」「留心心」

接待在褒贬区留住你的思法！

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 神气主页邻接，以及干系形式哦

咱们会（尽量）实时恢复你

� � 点亮星标 � �

科技前沿进展逐日见自慰 英文