公开基准测试：多模态LLM从截图中读取日历周视图的能力有多强？人类约99%，Q4本地模型……

一些背景：我一直在开发我的本地代理（openclaw），希望它能从屏幕照片中重建日历条目。我无法通过API访问日历（说来话长），所以拍照是导出数据的低门槛方式。这本应是一次简单的“技能构建练习”，却变成了一场令人沮丧的问题追踪。我的代理出错频率比我预期的高：时间偏差15-30分钟，所有条目无论实际时长都显示为1小时，有时相邻日期出现重复条目。当我向ChatGPT和Claude抱怨时，它们都告诉我读取日历比人类想象的要难。这引起了我的兴趣。我想知道能否通过不同的提示词、其他工具或量化级别来修复问题。我想了解模型目前的真实水平，而且由于我使用本地运行，尤其想知道量化会损失多少准确率。不知不觉中，我构建了一个基准测试形式的比较工具来衡量差异。 ## VCCB是什么？ VCCB（Visual Calendar Comprehension Benchmark，视觉日历理解基准）向模型展示一张固定的日历周视图图像，并要求它提取每个事件的结构化数据：标题、开始时间、结束/时长、重叠、重复、全天/多天跨度。同一周在三个桌面客户端（Outlook、HCL Notes、Thunderbird —— 这是我所能访问的）中渲染，每种客户端以三种方式拍摄：干净截图、正面照片和约15°透视照片，因此每次运行共九张图像。分数按客户端自我归一化，因为渲染方式不同会导致不同的信息丢失（Notes和Thunderbird强制最小块高度，而Outlook使用强调条来显示短事件的真实开始和时长）。我使用一个依赖于日历应用的“最大提取目标”来对照评分结果。无论客户端如何，完美读取为100%，透视照片则衡量模型因拍摄失真而损失的程度。完整方法、评分器和答案密钥都在代码库中。图像、提示词、脚本、评分器和所有结果都是开放的。 ## 目前所见（样本较小，仅供参考） 从我自己的运行中得出粗略的四类结果： - 人类：约99%（±1%），透视失真照片上表现相近（人眼+大脑仍占优势） - 前沿托管模型（如Opus）：约80-85% - 中端模型（ChatGPT免费版）：约75%（±5%） - 我的本地模型——以及Claude Haiku：约38-58% 人类水平与本地AI水平之间的差距正是我发帖的原因。我只有少量数据点，而我最关心的问题——“量化在这里究竟会造成多少损失”——我无法独自回答。 ## 对你的请求 如果你在本地运行模型：请使用你实际使用的任何模型和量化级别运行此基准测试，并上传你的提交结果。共九张图像，每张图像独立运行一次，填写模板，然后提交PR或issue。我会集中根据参考结果进行评分，结果将带着你的确切模型和提示词出现在公开排行榜上，以便任何人复现。顺便说一下：评分等功能都包含在包中，因此你也可以为自己的LLM构建排行榜。但如果你能分享数据，那就太好了。理论上你可以指示代理执行该过程，但我不确定测试框架是否会在不同运行之间共享信息，从而影响结果。我特别关注同一模型的量化比较（Q4 vs Q6 vs Q8，不同GGUF构建等）以及人们日常运行的小型VLM。即使一两个图像也有帮助——部分提交也可以。 代码库地址：https://github.com/KevinFleischer/vccbenchmark 欢迎在评论中询问关于设计或评分的任何问题，如果运行中遇到bug，请告诉我，我会修复。