标签
介绍开源 Agent Skill「learn-from-materials」,可将 PDF、EPUB、Word、PPT、网页等数百页资料转换为可交互的学习网站与知识库,并支持精确到页码/章节的引用溯源,兼容 Claude Code、Codex、Copilot CLI 等环境。
一位从业者向社区询问,哪种开源 OCR 技术栈最适合完全在本地批量处理 20–25 页的混合内容 PDF,并将 Docling、GLM-OCR、PaddleOCR-VL、OlmOCR 2 和 MinerU 等工具列入候选名单,同时权衡视觉语言模型(VLM)与文本层解析器在处理表格和扫描页面方面的优劣。
Claude API 将 Messages 和 Token Counting 的单次请求上限从 32MB 提升至 128MB,扩大约 4 倍,以支持包含大量图片的长会话和大型 PDF 等任务。
一个基于 Rust 的文本分块库,宣称相比 LangChain、LlamaIndex 及其他 Python 方案提速约 20 倍,提供多种分块策略、原生 PDF 加载器以及并行批处理。基准测试显示,递归分块可达约 2,264 MB/s,端到端 PDF 流水线比基于 pypdf 的基线快约 15 倍。
Datalab's Marker v2 是一款开源文档解析工具,能够处理PDF、图像、DOCX和PPTX,输出干净的Markdown,并支持超过90种语言,适用于批量整理、知识库构建和AI文档处理。
这篇文章强调了使用 Antigravity 与 Gemini 3.8 Flash 来查找和整理 PDF 成语料库,并提到了一个 Claude Code 技能,用于批量将 PDF 转换为 markdown 以降低成本。
DocJev 是一个免费、开源的 Python 工具,用于分类和拆分复杂文档包,支持 PDF、DOCX 和 PPTX,并可选择 OCR。
PixelRAG 是来自伯克利SkyLab等团队的开源项目,通过将网页和PDF截图为截图并用视觉索引进行检索,提高RAG准确率并显著降低AI Agent的token成本。
Google Developers展示了在Google AI Studio中使用Gemini 3.7 Flash将PDF年度报告转换为交互式网络应用,突出了模型通过单个提示的数据提取和UI生成能力。
Google AI Devs 利用Gemini 3.7 Flash从历史植物PDF中提取和分类植物,并通过交互式可视化进行演示。
Stirling-PDF是一个开源PDF处理平台,提供50多种工具(合并、拆分、OCR、压缩等),支持浏览器、Docker自托管和REST API,并支持无代码自动化pipeline。该项目在GitHub上有89k+ star,可完全本地部署,保护隐私。
介绍了一个将书籍或文档包转换为AI Agent可调用Skill的工具book-to-skill,支持PDF等格式,生成SKILL.md和章节索引,避免一次性加载全部上下文。
一项对比测试,将具备视觉能力的LLM(原生PDF阅读模式)与基于OCR的流程在30份长且图片密集的PDF上进行比较,发现带有布局提取的OCR在图表/表格密集的页面上仍优于视觉模型,且失败率为0%,而原生PDF为7%,尽管样本量较小且许多差距在噪声范围内。
Synthadoc 是一个开源工具,可将 PDF、文档等项目资料编译为结构化的本地 Markdown wiki,自动建立交叉引用并检测矛盾,适合个人或小团队进行离线知识管理。
book-to-skill 将技术书籍转换为适用于 Claude Code 的结构化技能,支持按需参考并消除幻觉。
olmOCR 是一个开源工具包,使用微调的视觉语言模型从PDF中提取干净的文本,同时保留结构,并针对大规模批处理进行了优化。