在我的开源 MCP 目录中添加了约 330 个韩国工厂表单(现在总共超过 1,400 个)。接下来应该抓取什么?
摘要
作者扩展了一个用于 AI 代理自动化 B2B 供应商查询的开源 MCP 目录,添加了 330 个韩国工厂表单,总数达到 1,400 多,并征集未来抓取的建议。
像大多数尝试 Hermes agent 的人一样,我的代理最初用于处理日常的成年人事务——整理收件箱、抓取早间科技新闻和总结信息流。它运行得很好,但在某个时候,感觉就像是一个过度兴奋的定时任务被困在我的终端里。然后我在一个深夜突然有了一个灵感:如果我们的代理能真正走出本地主机,在物理世界中找到真实的供应商呢?我当时正在摆弄一个硬件副项目,需要实际零件的规格和价格。显然,工厂不会很快推出闪亮的“代理 API”。但几乎所有的工厂在过去的十五年里都有一个略显陈旧、可用的 HTML 联系表单。与其等待每家公司采用通用的代理协议,我认为我们现在就需要一个实用的桥梁。所以,我作为一个激情项目,开始编写一个开源 MCP 目录。要明确说明它实际运行的方式:这是为有针对性的 B2B 报价请求构建的,而不是一次向 1,000 个网站群发垃圾信息的工具:你描述你需要什么(例如,“为小批量定制铝制支架寻找精密 CNC 车间”)。代理查询 MCP 目录,并根据材料、公差和能力精确定位前 2 到 5 家匹配的供应商。它提取表单端点和语言元数据,然后起草符合当地贸易礼仪的技术查询。它暂停并显示有效负载,以便你可以在提交任何内容之前审查这 2-5 个草稿。我已经索引了约 1,100 个全球制造表单。上个周末,我抓取并验证了韩国的小型到中型精密制造网站(主要是精密 CNC 车间、定制模具、机器人零件和 PCB 组装)。这次抓取冒险既有趣又令人沮丧:抓取了约 450 个工业集群的候选网站。立即丢弃了其中 100 多个:损坏的 2000 年代访客簿、臃肿的 Wix 设置导致无头浏览器崩溃,以及积极的 WAF。最终得到 329 个干净、验证过的静态 HTML 端点。这正式将目录更新到 1,434 个验证端点。模式解析器已经调整好,由于这是一个开放社区项目,我想索引你们实际好奇的任何实体供应链:地区:德国(机电一体化/工具制造)、台湾(半导体/PCB)、日本或越南?垂直行业:工业传感器、钣金加工、原始聚合物或包装?请提供任何你讨厌手动研究的国家或细分组件,我会将其加入下一批的抓取队列!(仓库和目录链接在评论中)
相似文章
@aiwithkhush: 10 个 GitHub 仓库,助你抓取整个互联网 请务必逐个收藏。每个仓库都能从任意网站提取干净数据,这些数据正是企业需要通过销售电话和合同才能出售的访问权限。
一个精心整理的帖子,列出了 10 个用于网页抓取的 GitHub 仓库,包括 Firecrawl、Crawl4AI、Browser Use 等,涵盖从简单抓取到隐身工具以及面向 LLM 的数据提取。
付费智能体 MCP 服务器
一位开发者正在为 AI 智能体构建 402 个 MCP 服务器,并寻求社区反馈,了解哪些付费微服务能让智能体更加实用。
@ManusAI: https://x.com/ManusAI/status/2057114674123153541
Manus AI 推出了一个通过 MCP 连接 Similarweb 市场情报数据的连接器,能够根据自然语言提示自动进行竞争性研究和演示文稿生成。
我花了6个月构建了一个统一的趋势MCP和API,以便我的代理能看到真正热门的内容
作者构建了TrendsMCP,这是一个统一的API和MCP服务器,聚合了超过40个来源的趋势数据,使AI代理能够轻松访问和分析热门信息,无需管理多个抓取器。
求反馈:我构建了一个支持MCP、工具和多提供商的桌面AI代理客户端(开源)
一位开发者分享了一个名为KainClaw的开源桌面AI代理客户端,基于Electron构建,支持MCP、多个AI提供商、工具以及后台任务。该项目仍处于早期阶段,正在寻求社区反馈。