Boo Bench

来源：https://www.llamaindex.ai/benchmarks/boobench

Boo Bench 是一座由 179 页构成的鬼屋，专门用来吓唬文档解析器，让它们陷入自我重复。

Boo Bench 旨在捕捉那些能吓到 VLM（让它们出错）、但大多数专用文档 OCR API 却能轻松通过的页面。它是一个简单有趣的试金石，用以说明：文档处理不能只是把文档直接丢给 VLM，还需要专用的模型、工具和 agent 框架。

Boo 是页面上会吓到解析器的元素。 我们经常遇到这样的失败模式：某些页面会让解析器陷入重复循环，或者干脆停止正常解析。Methods…………………………………………………………………………………………………………………………………………………..4 ghost-free Methods…………………………………………………………………………………………………………………………………………………………………………………………………………………………….booran past the page · 640 dots

谁被吓到了？

文档解析器和视觉语言模型依次走完了全部 179 个房间。 **Ghost-free（无鬼率）**是它们带着答案返回、且没有遭遇 Boo 的页面占比。 空手而归也算一个 Boo，超时后仍在循环的页面也算。

如何检查是否存在“闹鬼“输出

每一页对应一个问题：输出中是否重复了页面上不存在的内容？ 输出首先会被清理掉 markdown 结构（表格分隔线与网格线、横线、加粗与删除线标记、HTML 标签、图片链接）。 当以下任一指标超标时，该页面即为 Boo。

• .
• ·
• …
• _ - = * ═ ~ ・
• ····································

Fill（填充）

引导线、横线和空格，任意组合，按字符数计。 单次连续出现不得超过页面最长连续量的 2× + 40，或不超过页面单行长度（250）。 所有填充加起来不得超过页面总填充量的 2× + 40，或每行不超过页面对应行的量。

0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

Units（单元）

单个字符、短单元或 token 的连续出现，不得超过该单元在页面任意位置出现次数的 2× + 20。

20129IL0340067 ILS001 2024 Health …

Lines（行）

输出中重复出现的某一行，其出现次数不得超过该行最稀有词在页面上出现次数的 2× + 40。 页面的阅读顺序可能把重复行拆分成多列，因此行本身不计入。 在转录完全精确的页面上（即生成的 ghost page），该行自身的出现次数即为预算。

永远不算 Boo： 把写成 … · 写成 . 拆分引导线 合并行 丢弃引导线 从图表中读取的数值

Boo 长什么样

以下是三个真实失败案例，均取自挖掘出的页面，并与渲染后的页面逐一比对。 照片日志表格：某一行以两行 x 字符结尾，用作遮挡标记 run: letter

两行 x，而模型根本停不下来

页面上 246 个 x，分布在两行 输出中单次连续 23,004 个 x

| P39400-V2.tif | Lot A-6465 Plan 3410 - Sleeper 12-1 - ORANGE COUNTY - Ext Side - 1/30/1935xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx（合计 23,004 个，直到输出耗尽）

IRM-Photos_p42

打字机排版的总统声明：以 Cuba 结尾的一句话，后接三行点号 run: middot

三行点号，长度翻倍

页面上 ≈190 个点，分布在三行 输出中单次连续 395 个点

… supply comes from Cuba.……………………………………………………….（合计 395 个）

The American people will always maintain …

148027981_p68

密集的会员数量横排表格，约 120 行 × 30 列，大部分为 0.00 run: line

一张全是零的表，却不断多出新行

页面上有 2,204 个 “0.00” 单元格（约 120 行） 输出中有 8,957 个 “0.00” 单元格（297 行）

0.00 0.00 0.00 …

输出共 225 kB

Excellus_IND_BOTHX_EXHP-134113071_Application_p102

检测到的重复类型

从 264 万页的池子中，选出文本层存在重复的 13.1 万页： 每个文档取一页，剔除近似重复的模板， 保留最接近成功骗过解析器的页面，共归为 23 种。

闹鬼脚本

15 张 UDHR 第一条的扫描件，附带字母表和数字， 使用会让 VLM 陷入循环的脚本书写。 这些页面本身不重复，因此输出中的任何重复都是循环： 预算为任意单元最多 20 份，且无填充。

Ghost pages（幽灵页）

16 张仅含万圣节 emoji 的图片页， 与其精确转录一同绘制，因此预算也是精确的。 重复的行最多出现页面上该行数量的 2× + 40 次， 页面上不存在的内容最多 20 次。

Ghost grid（幽灵网格）

最后一行的额外副本：ghost-free

六种闹鬼家族

每个家族都是文档诱使模型陷入循环的一种方式， 每个家族配三张万圣节页面，均由精确转录绘制。 打开任意一页，看看完美的解析器会写出什么。