OmniFood-Bench：评估视觉语言模型在营养推理与个性化健康建议方面的能力

# OmniFood-Bench：评估视觉语言模型在营养成分推理与个性化健康建议方面的能力
来源：https://arxiv.org/html/2607.08423
钱江¹，石哲诚²，杨静普³，宋子睿⁴，方淼¹\*

###### 摘要

大型视觉语言模型快速融入关键基础设施，有望彻底改变个性化医疗和饮食管理。然而，在食品系统领域，自主智能体面临一个独特而持续的挑战：视觉外观与内在营养组成之间的“系统性信息不对称”。现有基准主要关注粗粒度分类任务（如食品类别识别），这些任务无法评估真实世界饮食管理所需的复杂推理链——具体而言，是从识别隐藏成分到估计物理质量，再到最终综合生成安全攸关的医疗建议的能力。在本文中，我们介绍了 **OmniFood-Bench**，这是一个基于 MM-Food-100K 数据集构建的综合性基准。与以往工作不同，OmniFood-Bench 评估 VLMs 的三个递进能力：基础感知（食材与烹饪方法）、定量推理（份量与营养分析）以及安全攸关的咨询建议（疾病特定推荐）。我们评估了六种最先进的 VLM，包括 gpt-5.1、gemini-3-flash 和 qwen3-vl-8B。大量实验揭示了一个令人震惊的“语义-物理鸿沟”：虽然模型在命名菜肴方面几乎达到人类水平，但在质量估计上表现出灾难性失败，并且对高风险糖尿病患者的无害建议频繁产生幻觉。这项工作为部署于公共健康的自主智能体的可信赖性建立了严格标准。代码和数据集可在以下地址获取：https://anonymous.4open.science/r/OmniFood-Bench-7D0B

## I 引言

在智能媒体时代，自主智能体越来越需要解释高维多模态数据，以辅助复杂的日常决策过程[24 (https://arxiv.org/html/2607.08423#bib.bib16)]。在这些智能体的众多应用中，AI 驱动的饮食管理在对抗全球慢性病（如肥胖、糖尿病和高血压）日益增长的负担方面具有巨大潜力。[11 (https://arxiv.org/html/2607.08423#bib.bib17),32 (https://arxiv.org/html/2607.08423#bib.bib18)] 一个理论上的“AI 营养师”智能体应能通过摄像头感知餐食，以临床精度分析其营养成分，并根据用户的具体生理状态提供个性化建议。实现这样的系统将使个性化营养的获取民主化，从通用的卡路里计数迈向风险感知的健康监测。

然而，这些自主智能体的部署目前受到关于鲁棒性、数据可信度和安全性的重大挑战的阻碍[9 (https://arxiv.org/html/2607.08423#bib.bib31),31 (https://arxiv.org/html/2607.08423#bib.bib32)]。与仅需识别边界框即可的通用物体检测任务不同，[26 (https://arxiv.org/html/2607.08423#bib.bib19)] 食品理解需要一个复杂的**视觉到物理的推理**过程。智能体必须从可见信息推断不可见信息：判断一道菜是油炸还是清蒸（这极大地改变热量密度），从二维像素估计牛排的物理质量（解决尺度和深度歧义），并检索领域特定的医学知识，以警告糖尿病患者潜在的隐藏糖分。这就造成了“系统性信息不对称”，即仅凭视觉信号在没有强推理和世界知识的情况下往往是不够的。

请参见图注
图 1：从视觉识别到健康推理。传统食品计算（顶部）主要侧重于对菜肴进行分类。OmniFood-Bench（底部）引入了一个分层评估管道，要求智能体弥合“语义-物理鸿沟”：从成分识别到定量重量估计，最后到个性化的、风险感知的医疗建议。

这个领域的风险异常高。在典型的视觉任务中，分类错误可能只会导致用户轻微不便。而在慢性病患者的饮食管理中，关于糖分含量或份量的“幻觉”可能导致不良健康后果，例如糖尿病患者的血糖升高事件或心脏病患者的高血压危象。[23 (https://arxiv.org/html/2607.08423#bib.bib20)] 因此，这些智能体的“安全性对齐”不仅是一个质量指标，更是部署的基本要求。当前的大型视觉语言模型，尽管在通用描述方面能力出色，但尚未在该特定高风险领域得到严格的压力测试。[2 (https://arxiv.org/html/2607.08423#bib.bib4),3 (https://arxiv.org/html/2607.08423#bib.bib2)] 它们经常表现出“语义-物理鸿沟”，即能流利地描述一道菜，但无法理解其物理特性或健康影响。

现有的食品计算基准，例如 Food-101[1 (https://arxiv.org/html/2607.08423#bib.bib6)]、VireoFood-172[4 (https://arxiv.org/html/2607.08423#bib.bib7)] 和其他[29 (https://arxiv.org/html/2607.08423#bib.bib33)]，主要侧重于视觉分类或食谱检索问题。虽然这些数据集推动了细粒度识别的发展，但它们基本上将食品视为语义标签，而不是具有质量、体积和化学性质的物理对象。最近的努力，如 Nutrition5k[25 (https://arxiv.org/html/2607.08423#bib.bib8)]，引入了深度和质量数据，但它们通常是在受控的实验室环境中收集的，缺乏真实世界用餐场景的视觉复杂性和“野外”可变性。此外，现有基准都没有明确评估**端到端的推理链**——从像素到处方——尤其是针对安全攸关的健康场景。

为了弥合这一关键差距，我们提出了 **OmniFood-Bench**，这是一个分层评估框架，旨在压力测试当前最先进 VLMs 的极限。我们将评估分类法分为三个递进层次，以模拟人类营养师的认知过程。首先，**基础感知**测试模型识别食材和烹饪方法的能力，为语义理解建立基线。第二，**定量估计**探索模型的“物理世界模型”，要求它从 2D 图像估计份量（克数）和营养概况（宏量营养素）。第三，**高级推理**评估智能体将这些信息综合为针对具有特定医疗状况的用户的个性化安全饮食建议的能力。

我们的贡献有三个方面。首先，我们建立了第一个将视觉感知直接与医学安全结果连接起来的统一基准，超越了简单的准确率指标，转向“风险感知”评估。第二，我们对六个领先的专有和开源模型进行了全面分析，揭示了强大的通用能力并不能自动转化为安全的饮食推理。第三，我们诊断了特定的失败模式，确定当前智能体的主要瓶颈在于“视觉-质量”估计步骤，该步骤会将错误向下游传播到健康建议中。这项工作是为全球食品系统构建可信赖、安全性对齐的自主智能体的基础性步骤。[19 (https://arxiv.org/html/2607.08423#bib.bib21)]

## II 相关工作

### II-A 食品计算的演变

过去十年间，食品计算领域经历了显著的转变，从简单的图像分类演变为复杂的多模态分析。早期的基础数据集，如 Food-101[1 (https://arxiv.org/html/2607.08423#bib.bib6)] 和 UEC-Food[14 (https://arxiv.org/html/2607.08423#bib.bib9)]，主要关注将菜肴分类到固定的分类体系中。这些基准推动了卷积神经网络的发展，使其能够区分视觉上相似的菜肴[22 (https://arxiv.org/html/2607.08423#bib.bib10),16 (https://arxiv.org/html/2607.08423#bib.bib22)]。后续工作通过引入食材级别的注释和食谱检索任务扩展了这一范围[10 (https://arxiv.org/html/2607.08423#bib.bib1)]，如 VireoFood-172[13 (https://arxiv.org/html/2607.08423#bib.bib11)] 和 Recipe1M[17 (https://arxiv.org/html/2607.08423#bib.bib12)] 所示。这些数据集使模型能够学习视觉外观与文本食材之间的相关性。然而，这些早期工作的一个主要局限性在于将食品视为语义标签而非物理对象。它们缺乏精确营养分析所需的定量元数据——如重量、体积和热量密度。虽然最近的数据集如 Nutrition5k[25 (https://arxiv.org/html/2607.08423#bib.bib8)] 试图通过结合深度数据和尺度测量来解决这个问题，但它们主要局限于实验室环境，限制了其在现实世界用餐中复杂、杂乱和遮挡环境中泛化的能力。

### II-B 医疗保健中的大型多模态模型

多模态大语言模型的最新进展，例如 Med-Gemini[21 (https://arxiv.org/html/2607.08423#bib.bib13)] 和专门的临床 VLM，在解释放射扫描和生成诊断报告方面展示了令人印象深刻的能力。[15 (https://arxiv.org/html/2607.08423#bib.bib3),20 (https://arxiv.org/html/2607.08423#bib.bib5),27 (https://arxiv.org/html/2607.08423#bib.bib34)] 然而，在**预防性**健康和饮食监测领域仍存在显著差距。与标准化的医学影像不同，食品图像高度非结构化，并且遭受严重的遮挡和尺度歧义。当前如 GPT-5.1[8 (https://arxiv.org/html/2607.08423#bib.bib14)] 这样的通用模型虽然功能强大，但通常缺乏区分视觉上相似但营养构成不同的食物制备方法（例如，区分无糖与含糖甜点）所需的特定领域对齐，从而导致潜在危险的建议幻觉。

### II-C 自主智能体的安全性对齐

在高风险环境中运行的自主智能体，可信赖性至关重要。在医疗和食品系统的背景下，“幻觉”不仅仅是一个事实错误[12 (https://arxiv.org/html/2607.08423#bib.bib15),5 (https://arxiv.org/html/2607.08423#bib.bib23)]；它是一个潜在的安全隐患。近年来，AI 安全研究主要集中在防止毒性、偏见和有害内容的生成[33 (https://arxiv.org/html/2607.08423#bib.bib24),18 (https://arxiv.org/html/2607.08423#bib.bib25)]。然而，在生物医学语境下，关于“事实安全”的研究相对匮乏——具体而言，确保智能体不会基于有缺陷的视觉感知推荐禁忌行动。OmniFood-Bench 通过明确量化饮食建议背景下的“安全幻觉”来解决这个问题。我们超越了标准的毒性检测，评估“生物医学事实对齐”，为确定一个自主智能体是否足够安全以部署为个人健康助手创建了新标准。

请参见图注
图 2：OmniFood-Bench 数据多样性概览。该基准涵盖四个不同的模态：餐厅食品、家常食品、包装食品和生鲜食材，评估从细粒度重量估计到精确营养提取的能力。

## III OmniFood-Bench 框架

为了确保对食品领域自主智能体的严格评估，我们设计了 OmniFood-Bench 框架。本节详细介绍了数据整理过程、严格的标注流程以及分层任务定义。

### III-A 数据构建与整理

我们使用从 MM-Food-100K[6 (https://arxiv.org/html/2607.08423#bib.bib27)] 数据集中精心挑选的子集构建了 OmniFood-Bench，该子集特别选择以最大化多样性和挑战性。该数据集包含 1,208 个高质量样本，分布在四个主要类别中：**家常食品**、**餐厅食品**、**包装食品**和**生鲜食材**。

这个高质量子集的完整性通过手动抽查来确保数据的真实性和可靠性。此外，根据权威健康卫生标准，我们建立了一个标签体系——分类为正常摄入、控制摄入和不推荐——基于原始数据集中蛋白质、脂肪和碳水化合物具体重量（克数）。这些标签通过为必需营养素摄入定义精确数值范围，针对各种临床状况（如糖尿病和慢性肾病）进行定制。

我们在 1,208 个样本上评估了开源模型（例如 qwen3-vl-8B），而在 496 个样本的代表性子集上评估了闭源模型（例如 gpt-5.1）。

### III-B 分层任务定义

我们将评估结构化为三个递进任务，从简单感知到复杂推理，探查 VLM 的能力。

**任务 I：基础感知。** 该任务评估模型识别图像语义内容的能力。它包含两个子任务：烹饪方法分类和食材列表生成。对于烹饪方法，我们衡量制备技术的分类准确性，这对热量估计至关重要。对于食材，我们评估预测食材集与真实标签之间的**食材匹配率**。

**任务 II：定量估计。** 该任务测试智能体的“物理世界模型”，要求它将 2D 像素映射到 3D 物理属性。第一个子任务是份量估计，模型必须预测特定可见组件的重量（克数）。我们使用**平均绝对百分比误差**来评估性能，值越低表示接地性越好。第二个子任务是营养概况估计，模型估计宏量营养素的总克数，同样用 **MAPE** 衡量。

**任务 III：高级咨询建议。** 这是安全攸关的顶石任务。模型充当临床营养师。给定特定的用户画像 \(P \in \{糖尿病, 肥胖, ...\}\)，模型必须输出一个决策 \(D \in \{A, B, C\}\)，分别对应正常摄入、控制摄入和避免摄入。我们衡量**分类准确率**来评估模型性能。

## IV 实验与分析

### IV-A 实验设置

我们评估了六个代表性的 VLM，以提供对当前格局的全面视角。我们的选择包括三个专有模型：gpt-5.1、gemini-3-flash 和 claude-sonnet-4。我们还评估了三个开源权重模型：qwen3-vl-8B[30 (https://arxiv.org/html/2607.08423#bib.bib28)]、InternVL3\_5-8B[28 (https://arxiv.org/html/2607.08423#bib.bib30)] 和 Llama-3.2-11B-Vision[7 (https://arxiv.org/html/2607.08423#bib.bib29)]。所有模型均在零样本设置下评估，以模拟真实世界用户交互，使用包含图像和特定查询字段的标准化提示结构。

### IV-B 结果：基础感知

我们首先分析模型识别烹饪方法和食材份量的基本能力。如表 I (https://arxiv.org/html/2607.08423#S4.T1) 所示，