研究进一步证明，提升上下文窗口，提升图像理解能力，以及使用更强大的LLM Backbone对长视频理解的性能具有非常明显的提升作用。

  当前流行的Video Benchmark主要是针对短视频设计，大部分视频的长度都在1分钟以内。

  此外，现有部分长视频理解评测任务往往只和局部帧有关，或者针对经典电影进行问答，这导致MLLMs可以直接凭借text prompt正确回答而无需对视频进行分析。

  MLVU的视频时长覆盖了3分钟到超过2小时，平均视频时长12分钟，极大扩展了当前流行的Video Benchmark的时长范围。

  例如，Video Summarization任务分段标注了视频的前3分钟，前6分钟……

  这意味着，MLLMs可以灵活地在MLVU上选择测试不同时长情况下的长视频理解能力。

  同时，MLVU收集了包括电影、电视剧、纪录片、卡通动画片、监控视频、第一视角视频和游戏视频等多个类型的长视频，覆盖了长视频理解的多个领域范围。

  团队针对长视频理解设计了9类不同的任务，并进一步将任务分为三类：全面理解、单细节理解、多细节理解。

  单细节理解任务：要求MLLMs根据问题定位长视频中的某一细节，并利用该细节来解决问题

  多细节理解任务：要去MLLMs定位和理解长视频中的多个相关片段来完成和解决问题

  此外，还包括了单项选择题和开放生成式问题，全面考察MLLMs在不同场景下的长视频理解能力。

  为了突出新旧基准变化，直接以情节问答（Plot Question Answering）任务为例。

  假如以电影、电视的角色作为问题线索来对MLLMs进行提问，旧基准的普遍的问题有两种。

  一是挑“经典”下手，这导致MLLMs在没有对视频做多元化的分析的情况下，直接用了自有知识回答问题。

  另一部分试图避免这样的一个问题，但由于长视频的复杂性，仅仅利用代词和描述性语句来指代情节细节非常困难。

  他们的问题非常宽泛或者需要在问题中额外指定具体的时间片段而不是让MLLMs自己根据题目寻找对应细节。

  在所有的情节问答任务中，MLVU均使用“具有详细细节的代词”来指代情节中的人物、事件或背景，避免了问题泄露带来的潜在影响，MLLMs应该要依据问题提供的线索识别和定位相关片段才能进一步解决问题。

  此外，MLVU的Plot QA问题具备丰富的多样性，增强了评测的合理性和可靠性。

  团队在MLVU上对20个流行的MLLM进行了评测，包括开源模型和闭源模型。

  实验根据结果得出，尽管GPT-4o在所有任务中均取得了第1名，但它的单选平均准确率只有64.6%。

  且所有模型都在需要细粒度理解能力的任务上（单细节、多细节理解任务）表现糟糕。

  开源模型中单项选择题性能最强的InternVL-1.5单选平均准确度仅有50.4%；开放生成式题目最强的LLaMA-Vid得分仅有4.22，均远远落后于GPT-4o的64.6%和5.80。

  不过研究之后发现，提升上下文窗口，提升MLLM的图像理解能力，以及使用更强大的LLM Backbone对长视频理解的性能具有非常明显的提升作用。

  本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。