我对规模从2B到35B的模型进行了高难度HTML数据提取的基准测试

Reddit r/LocalLLaMA 2026/06/18 01:58 论文

benchmarking html-extraction llm-evaluation model-comparison data-extraction

摘要

一项基准测试，比较了参数规模从2B到35B的AI模型在从HTML中提取结构化数据这一具有挑战性的任务上的表现和准确性。

暂无内容

查看原文

相似文章

Reddit r/AI_Agents

一位开发者为编码AI代理构建了自定义基准测试，并发现当测试框架优化时，一个35B参数模型优于120B参数模型，凸显了定制化评估相对于通用规格的重要性。

Reddit r/artificial

来自Apodex家族的一个40亿参数开放模型在网页研究基准上优于300亿参数模型，这归因于精心构建的训练数据和自我验证技术，而非原始规模，表明AI能力发展趋向更民主化。

Reddit r/LocalLLaMA

HuggingFace 基准数据集现在支持按模型大小筛选，从而可以进行类似 'swebenchverified 上 32B 以下最佳模型' 的比较。

X AI KOLs Following

推文突出了 SWE-bench_pro 基准测试中参数低于 128B 的顶级 AI 模型，指出阿里 Qwen 3.6 27B 和 ornith 35B 是领先的竞争者。

arXiv cs.CL

本文介绍了HybridDeepResearch，一个用于评估AI智能体在需要整合网络搜索和SQL查询任务上的基准测试，揭示了即使最先进的模型在跨结构化和非结构化数据维护约束方面也存在困难。