我们测试了用于车牌识别 OCR 的超分辨率预处理，结果毫无效果

# 将神经超分辨率作为车牌 OCR 的前置滤波器 - WINK 工程笔记 来源：https://www.wink.co/documentation/Neural-Super-Resolution-Pre-Filter-LPR-2026 如果你在 2026 年构建自定义的车牌识别系统，你可能已经遇到过超分辨率（Super-Resolution, SR）技术。相关的宣传无处不在：将模糊的 50 像素裁剪图放大为清晰的 200 像素图像，然后再交给你的 OCR 模型处理。论文中展示了令人惊叹的前后对比图。ICPR 2026 甚至为此专门举办了一场竞赛。这听起来像是“免费”提升准确率的好事。 我们构建了一个这样的系统，在生产环境的裁剪图上进行了测试，发现它毫无作用。随后，我们下载了一个预训练模型，其参数量大了 30 倍，并同样进行了测试。结果依旧相同。 这篇笔记提出了一个 SR 文献很少触及的问题：**如果你可以用低分辨率数据训练你的 OCR 模型，为什么还需要一个单独的模型先对其进行放大？** **简短回答：** 你可能并不需要。对于车牌识别（LPR）而言，SR 大多只会带来幻觉字符和浪费的工程时间。唯一真正有意义的场景是，当你试图改进一个无法重新训练的商业产品时。如果你拥有自己的训练流程，则有更好的方法。 ## 为什么前置滤波器又回来了 在自动车牌识别（ALPR）的早期，图像预处理是标准做法：直方图均衡化、高斯锐化、二值化、形态学操作。这些滤波器在特定的相机设置下提高了可读性，但非常脆弱。改变光照、更换相机或添加新的车牌格式，整个系统就会崩溃。 深度学习淘汰了前置滤波器。端到端模型承诺处理一切：给网络一个原始裁剪图，让它自己搞定其余部分。这确实有效，直到它不再有效。 问题在于分辨率。一个在 200 像素宽的车牌上训练的 OCR 模型，在 200 像素宽的车牌上表现完美。但如果你喂给它一张来自远处车辆的 50 像素裁剪图，准确率就会崩溃。不是因为模型不会读，而是因为没有东西可读；字符只有 4 或 5 像素宽。无论模型容量多大，都无法凭空捏造输入中不存在的细节。 神经超分辨率声称能改变这一局面。与其让 OCR 模型去读 4 像素的字符，不如给它 16 像素的字符。SR 模型根据对高分辨率下车牌字符外观的学习先验，生成合理的细节。这个说法听起来很棒。但在实践中，你得到的实际上是看似真实但并不存在的幻觉字符。 ## 实验 ### 设置 我们的数据集包含 18,000+ 个标记检测目标和 180,000+ 个独立的裁剪图像。其中，5,000 个宽度小于 100px 的独立裁剪图同时拥有原始版本和 SR 放大版本，可用于 A/B 对比测试；我们将这两个版本通过相同的 OCR 流水线进行处理： 流水线步骤 | 总推理时间 | **A: 仅 OCR** | 裁剪 → 调整为模型输入尺寸 → OCR | ~5ms | **B: SR + OCR** | 裁剪 → SR 放大 4 倍 → 调整为模型输入尺寸 → OCR | ~7ms | 使用相同的 OCR 模型（CTC-CRNN，基线准确率 98.6%）。相同的裁剪图。相同的标签。唯一的变量是 SR 前置处理步骤。 ### SR 模型 属性 | 值 --- | --- 架构 | SRVGGNetCompact（纯 CNN） 参数 | 42,000 输入 | [B, 1, H, W] 灰度图 输出 | [B, 1, 4H, 4W] 灰度图（4 倍放大） ONNX 大小 | ~170 KB 推理时间 | ~2ms（仅模型），~9ms（在流水线中测量，CPU） 训练损失 | L1 像素 + OCR 置信度（λ=0.1） 边缘兼容 | 是（纯 Conv + ReLU + PixelShuffle） **关键设计选择：OCR 引导的训练损失。** SR 模型并非优化以生成漂亮的图像（PSNR/SSIM）。它是优化以生成 OCR 模型能够自信读取的图像。损失函数包括已部署 OCR 模型的置信度分数作为训练信号。这意味着 SR 学习增强对字符识别至关重要的特征，而不是对人类视觉感知至关重要的特征。 ## 结果 ### 裁剪尺寸分布（生产相机） 在展示准确率结果之前，了解生产相机实际产生的裁剪尺寸非常重要： 裁剪宽度 | 数量 | 占总比例 | 应用 SR？ --- | --- | --- | --- 20–40 px | 494 | <1% | 是（低于 100px 阈值） 40–60 px | 19,127 | 6% | 是 60–80 px | 69,740 | 22% | 是 80–100 px | 85,633 | 27% | 是 100+ px | 139,985 | 44% | 否（高于阈值） 分布来自 3 个月内收集的 314,979 个生产裁剪图。SR 阈值：100px 裁剪宽度。 56% 的所有裁剪图落在 SR 激活范围内（小于 100px）。这比预期要高；多裁剪跟踪系统会在车辆接近和远离时捕获车牌，从而生成许多中等范围的裁剪图（60 到 100px）， alongside 近距离清晰的裁剪图（100px+）。投票流水线意味着最好的裁剪图主导最终的车牌读取结果，无论较小的裁剪图是否获得 SR 增强。 ### 三方对比：无 SR vs 42K 自定义 vs 1.21M 预训练 为了消除模型容量作为变量，我们在 2,000 个小于 100px 的标记裁剪图上测试了三个流水线： 1. **原始**—— 原始裁剪图，无 SR，直接传入 OCR 2. **我们的 42K SR**—— 自定义训练的 SRVGGNetCompact（42K 参数，L1 + OCR 置信度损失，在我们的车牌裁剪图上训练） 3. **Real-ESRGAN 预训练**—— 现成的 SRVGGNetCompact（1.21M 参数，由腾讯 ARC 在数百万通用图像上训练）。这是文献中认为有效 SR 的最小全尺寸架构。 流水线 | 参数 | 完全匹配 | 字符准确率 | SR 推理时间 --- | --- | --- | --- | --- 原始（无 SR） | — | 0.0% | 0.4% | — 我们的 42K SR | 42K | 0.0% | 0.4% | 8.9ms **Real-ESRGAN 1.21M** | **1.21M** | **0.0%** | **0.4%** | **126ms** 所有宽度小于 100px 的裁剪图，均经过人工验证标签。三个流水线使用相同的 OCR 模型（CTC-CRNN，1.1M 参数）。 #### 按裁剪尺寸桶划分 裁剪宽度 | n | 原始完全匹配 | 42K 完全匹配 | ESRGAN 完全匹配 | 原始字符准确率 | 42K 字符准确率 | ESRGAN 字符准确率 --- | --- | --- | --- | --- | --- | --- | --- <40 px | 24 | 0.0% | 0.0% | 0.0% | 0.0% | 0.0% | 0.0% 40–60 px | 166 | 0.0% | 0.0% | 0.0% | 0.1% | 0.2% | 0.3% 60–80 px | 717 | 0.0% | 0.0% | 0.0% | 0.3% | 0.3% | 0.2% 80–100 px | 1,093 | 0.0% | 0.0% | 0.0% | 0.6% | 0.6% | 0.5% **总计（2,000）** | **—** | **0.0%** | **0.0%** | **0.0%** | **0.4%** | **0.4%** | **0.4%** **结果：一个大了 30 倍的预训练模型产生了完全相同的结果。** 零完全匹配。整体字符准确率为 0.4%。Real-ESRGAN 模型由资金雄厚的研究实验室在数百万图像上训练，但它毫无差别。这并非关于模型容量；这也不是关于 SR 训练数据。问题比这更根本。 ### 为什么 SR 在这里帮不上忙 这些每个裁剪图的数字需要结合背景来看。对于单个小于 100px 的裁剪图，OCR 产生的文本如 `9BE72`，而实际车牌是 `ACF083`。两个 SR 版本产生同样的垃圾：ESRGAN 产生 `9BE73`，我们的模型产生 `9BE72`。在这个比例下，裁剪图中的字符根本无法识别；无论放大多少倍，都无法创造相机未捕捉到的信息。 那么系统如何实现 98.6% 的车牌准确率呢？多裁剪投票。每辆车辆经过相机视野时生成 15 到 20 个裁剪图。大近距离裁剪图（100 到 200px）读取正确。小远距离裁剪图（40 到 80px）是噪声。投票流水线聚合所有结果，大裁剪图的正确读取压倒了小裁剪图的垃圾结果。对小裁剪图进行 SR 处理不会改变结果；它们原本就已经被投票淘汰了。 ### 三个流水线的所有示例输出 宽度 | 真实值 | 原始 | 42K SR | Real-ESRGAN --- | --- | --- | --- | --- 93px | ACF083 | 9BE72 | 9BE72 | 9BE73 83px | ACF083 | 9BE72 | 9BE72 | 9BE73 99px | ACF083 | 9BE73 | 9BE73 | BBE73 59px | AAI564 | *(空)* | 883 | *(空)* 50px | STF178 | *(空)* | **(空)** | ST 三个流水线。三种模型大小。同样的错误答案。SR 模型并没有增强字符；它们在幻觉出看似合理的新字符。这比什么都不做更糟，因为它用自信的垃圾污染了投票池。 ### 为什么它不起作用：文献也同意 我们的负面结果与已发表的研究一致： - **模型容量。** 实际提升 OCR 的已发表 SR 模型使用 1.5M–7.5M 参数。我们 42K 参数的 SRVGGNet 比最小有效尺寸小 ~45 倍。在这个容量下，模型可以学习简单的上采样模式，但无法重建字符级别的细节。（Nascimento et al., 2025; LCDNet, 2024） - **字符幻觉。** ICIP 2020 论文“超分辨率能否在现实世界中提高 OCR 性能？”（Nguyen et al.）发现，单图像 SR **在已可读的图像上可使 OCR 降级高达 9%**。我们在小裁剪图上 48% 的文本变化率正是如此。SR 模型生成看似合理但错误的字符形状；"8"/"B", "0"/"D", "7"/"T" 混淆对很常见。 - **损失函数不足。** 我们的 L1 + OCR 置信度损失太弱。成功的方法使用对抗训练中的 OCR 作为判别器（LPSRGAN, 2024）、字符混淆加权焦点损失（LCDNet 的 LCOFL）以及嵌入相似性约束（Sendjasni & Larabi, 2025）。简单的 OCR 置信度作为辅助损失不足以提供足够的梯度信号，让 SR 模型学习字符正确的重建。 - **PSNR 对此任务毫无意义。** 我们 23.1dB 的 PSNR 告诉我们关于 OCR 实用性的任何信息。多项研究证实 PSNR 和 SSIM 与识别准确率没有可靠的关联。高 PSNR 重建如果过度平滑字符边缘，实际上可能比低 PSNR 重建产生更差的 OCR。 ### 比赛证实：多帧投票胜过单图像 SR ICPR 2026 低分辨率车牌识别竞赛（269 支队伍，99 个有效提交）产生了一个发人深省的结果：第三名团队（复旦大学 OpenOCR，准确率 80.17%）根本**没有使用专门的 SR 阶段**。他们将低分辨率帧直接输入到具有跨多帧字符级投票的 OCR 模型中，最终仅比获胜者落后 2 个百分点。 这验证了我们的生产流水线已经做的事情。我们的系统每辆车捕获 15 到 20 个裁剪图，对每个裁剪图独立运行 OCR，并使用基于质量的加权投票和字符级共识。同样的策略在正式基准测试中与基于 SR 的方法竞争；没有复杂性、延迟或幻觉风险。 **这意味着在实践中：** 我们现有的多裁剪投票流水线已经实现了在竞赛中击败 SR 的策略。向此流水线添加一个 42K 参数的 SR 模型增加了 2ms 的延迟、170KB 的模型权重，并向投票池添加了噪声，而没有可测量的准确率提升。SR 并非免费；它有成本，在我们测试的每种模型尺寸中，成本都超过了收益。 ## 为什么不直接训练得更好？ 大多数 SR 论文没有提到的一点是：它们针对的 OCR 模型是专门在高分辨率裁剪图上训练的。当然，当你的 OCR 从未见过模糊输入时，SR 会有帮助。你是在弥补训练差距，而不是添加新信息。 我们的 OCR 模型使用**多尺度增强**进行训练。每个训练裁剪图都随机缩小到其原始大小的 40 到 100%，然后放大回来，模拟 SR 声称要修复的确切分辨率退化。模型在训练期间见过成千上万张模糊、低分辨率的车牌图像。它学会了直接读取它们。 **这是 SR 作为 LPR 前置滤波器的核心问题：** 你添加了一个 1.5M+ 参数的模型来重建细节，而适当训练的 OCR 模型并不需要这些细节。SR 模型猜测高分辨率车牌可能是什么样子。在真实低分辨率裁剪图上训练的 OCR 模型读取实际存在的内容。猜测并不优于读取；它只是引入了幻觉。 ### SR 真正有意义的唯一场景 诚然，对于 LPR 来说，只有一种情况值得花费精力进行 SR：**你被困在一个无法重新训练的商业 OCR 产品中。** 云端 API、供应商锁定的相机、模型是黑盒的遗留系统。你无法修复 OCR 的训练，所以你修复其输入。在这个狭窄的情况下，SR 是一个有效的前置处理器，已发表的结果也支持这一点。 但这不应该是你在 2026 年构建 LPR 系统的方式。如果你有访问自己训练流程的权限，你也应该有。正确的方法是在相机实际产生的裁剪图上训练你的 OCR。多尺度增强是免费的。它只需要在训练脚本中设置一个标志。OCR 模型原生学会处理低分辨率输入；不需要第二个模型，没有幻觉风险，没有额外延迟。 ### 什么时候 SR 是浪费时间 - **你拥有自己的 OCR 训练流水线。** 使用多尺度增强进行训练，OCR 就能处理低分辨率输入。搞定。 - **你有多裁剪投票。** 如果你的系统每辆车捕获 10 到 20 个裁剪图并在它们之间进行投票，大清晰裁剪图会压倒小模糊裁剪图。对模糊裁剪图进行 SR 处理不会改变结果。 - **你的相机离车牌很近。** 产生 80 到 150px 裁剪图的网关和停车场部署没有分辨率问题。没有什么需要放大的。 ### 为什么 SR 在 2026 年受到如此多的关注？ 几个因素推动了这种兴趣，其中一些更有理由： - **引人注目的视觉效果。** 发布物和演示中的 SR 前后对比图在视觉上非常引人注目。模糊的污渍变成清晰的车牌易于理解，对非专业人士来说印象深刻，即使下游准确率提升很小。 - **研究交叉点。** 用于 OCR 的 SR 位于图像恢复和文本识别这两个活跃领域的交叉点。这使得它在出版物中自然富有成效；即使实际影响有限，技术本身确实很有趣。 - **基准设计。** 大多数 SR 基准评估重建质量（PSNR, SSIM）或针对未在退化输入上训练的 OCR 模型进行测试。替代方案，即简单地在低分辨率数据上训练更好的 OCR 模型，很少用作基线比较。这可能夸大了 SR 相对于更好训练实践的价值。 - **合法用例。** 高速公路监控、法医视频分析以及用冻结的 OCR 模型改造遗留系统是 SR 明显有帮助的真实应用。风险在于将这些特定胜利泛化为 SR 普遍有益的主张。 **研究与生产之间的差距：** 已发表的 SR 结果通常针对现成的 OCR 模型（Tesseract, PaddleOCR）进行测试，这些模型从未在低分辨率车牌数据上训练过。在这种情况下，SR 提供了真正的提升。但任何值得部署的生产 ALPR 系统都有一个在其实际数据（包括小裁剪图）上训练的 OCR 模型。SR 解决的是良好的训练实践已经解决的问题。这个概念很精巧；但在 2026 年构建此系统有更好的方法。 ### ALPR 中 SR 的实际经济性 即使我们接受 SR 在 1.5M+ 参数和对抗训练下有效，且文献指出它对 60px 以下的裁剪图有效，实际问题是：**谁实际上负担得起构建这样一个系统？** 用于车牌的有效 SR 模型不是通用的放大器。它需要学习它将遇到的特定车牌类型的视觉词汇：字体、间距、背景纹理、注册贴纸位置、磨损模式。在欧洲车牌上训练的模型不会在拉丁美洲车牌上正确重建字符。字母形状不同，纵横比不同；反射涂层在红外照明下的表现也不同。 这意味着每个地区，甚至可以说每种车牌类型，都需要其自己的 SR 训练数据： 要求 | SR 模型（有效） | OCR 模型（我们的方法） --- | --- | --- 模型参数 | 1.5M–7.5M | 1.1M 训练数据 | 成千上万对 LR/HR 裁剪图 | 成千上万张标记车牌 训练方法 | 对抗（GAN）+ OCR 判别器 | 标准 CTC 损失 训练时间 | 几天（需要 GPU） | 数小时至数天 每地区定制 | 需要完全重新训练 | 需要完全重新训练 每车牌类型定制 | 单独模型或多头 | 训练数据中标记 推理开销 | 每个裁剪图 ~15ms | 无（无额外阶段） 对于一个拥有数百万...