论文页面 - WearableQA：基于真实世界可穿戴数据的健康推理基准测试

来源：https://huggingface.co/papers/2609.05405

摘要

WearableQA 是一个基于真实纵向可穿戴数据构建的多选题基准测试，旨在评估大语言模型在数据维度和健康维度的推理能力。

近年来可穿戴传感技术的进步实现了生理与行为信号的持续监测，但现有基准测试很少评估人工智能系统能否基于真实用户的纵向可穿戴记录进行推理。我们提出了 WearableQA，该基准测试包含 4,084 道十选项多选题，数据源自 200 名真实用户的可穿戴设备时间序列数据、血液生物标记物和人口统计信息，每位用户最多包含 500 天的日常测量数据。WearableQA 保留了真实的可穿戴数据分布特性，包括设备噪声和个体差异性。为评估不同的推理能力，我们设计了 16 种问题类型，沿两个互补维度进行划分：数据推理与健康推理（区分对纵向测量值的计算与生理学解释）；单信号推理与跨信号推理（区分对单一信号的推理与多信号整合推理）。为大规模构建可靠的问题，我们采用了双重验证框架（https://huggingface.co/papers?q=dual-grounding%20framework），结合文献验证的生理学发现与统计验证的群体生理特征模式，从而能够捕捉真实世界可穿戴数据中的有意义关联。对 14 个专有及开源大语言模型（https://huggingface.co/papers?q=LLMs）的评估表明，WearableQA 能有效区分模型能力，性能跨度从 19.6% 到 72.9%（基准随机概率为 10%）。此外，WearableQA 尚未被完全攻克：大多数模型准确率低于 60%。总体而言，WearableQA 为评估大语言模型在真实世界可穿戴数据上的推理能力提供了兼具真实性与诊断价值的基准测试。

查看 arXiv 页面 (https://arxiv.org/abs/2609.05405) 查看 PDF (https://arxiv.org/pdf/2609.05405) GitHub6 (https://github.com/facebookresearch/WearableQA) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.05405)

通过工具获取此论文：

hf papers read 2609\.05405

尚未安装最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型

0

暂无关联此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2609.05405 即可从本页关联。

引用此论文的数据集

1

facebook/WearableQA 查看器 • 6 天前更新 • 20.4k • 10 (https://huggingface.co/datasets/facebook/WearableQA)

引用此论文的 Spaces

0

暂无关联此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2609.05405 即可从本页关联。

包含此论文的收藏

0

暂无包含此论文的收藏

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 即可从本页关联。