一个超轻量级的开源网络搜索工具,专为小型本地LLM设计
摘要
TinySearch 是一个开源的 MCP 工具,能够执行网络搜索、抓取页面、检索并重新排序相关片段,为较小的本地 LLM 提供简洁的上下文,避免因加载完整页面而污染上下文。
大家好!
最近一直在玩本地代理设置,主要是 Cline/Roo + 小型模型,但网络搜索总是让我头疼。不是因为它不能用,而是因为它经常往上下文里塞太多随机页面文本。小模型根本 hold 不住啊 lol。它们刚开始做一个简单的搜索,结果提示词里就塞满了抓取来的垃圾数据。所以我干脆自己造了个轮子——TinySearch。这是一个轻量级的开源 MCP 工具,能执行网络搜索、抓取几个页面、对有用信息进行分块/检索/重排序,最后给代理一个更小的上下文块,而不是直接倾倒整个页面。
仓库地址:[https://github.com/MarcellM01/TinySearch](https://github.com/MarcellM01/TinySearch)
它用了 DuckDuckGo、Crawl4AI、稠密检索 + BM25 风格的检索、重排序、MCP,还可以作为 FastAPI 服务器运行。在我这边(M4 Mac 和一台老旧的联想 ThinkPad)从开始到结束通常需要 5-12 秒,具体取决于查询和机器。
不是想取代什么正式的搜索基础设施,只是想给那些不想为了查点东西就搭个完整后端的代理构建者们提供一个轻量级的本地研究层。还有些粗糙的地方,但在我自己的工作流里已经足够有用了,所以拿出来分享。欢迎反馈和拍砖,尤其是正在用 Cline、Roo、MCP 或小型本地模型的朋友们。
相似文章
@TheAhmadOsman: 实用技巧 本地运行LLM?给它们网络访问权限 我的配置: - SearXNG:候选源发现 - Firecrawl:已知-…
一条推文技巧,介绍如何通过 SearXNG 进行搜索、Firecrawl 进行抓取、Camofox 作为浏览器回退,采用“搜索-提取-交互”工作流,为本地 LLM 赋予网络访问能力,使其变得更加实用。
面向 LLM 的 Markdown 浏览器
作者介绍了 TextWeb,这是一个开源工具,它将网页渲染为 Markdown 格式供 LLM 处理,而非使用昂贵的大视觉模型,该工具支持命令行界面 (CLI) 和 MCP 服务器。
LearningCircuit/local-deep-research
一款注重隐私的本地深度研究工具,支持多种大语言模型(LLM)和搜索引擎,在保持数据加密和本地化的同时,在问答任务上实现高精度。
LLC: 轻量级 OpenWebUI 替代方案 - 现已支持聊天转换器和自定义工具调用
LLC 是 OpenWebUI 的轻量级替代品,用于运行本地大语言模型。最新 v0.6 版本新增了聊天转换器以导入 OpenWebUI 历史记录,以及支持用户自定义工具调用的功能。
@tom_doerr: 使用LLMs对私有数据进行深度研究的自动化 https://github.com/zilliztech/deep-searcher…
DeepSearcher 是一个开源工具,结合了LLMs和向量数据库,能够对私有数据进行深度研究,为企业知识管理和智能问答系统提供准确的答案和报告。