我为自己的发布目录加了个 MCP 服务器,让代理无需抓取网页即可查询产品
摘要
ScrollLaunch 发布了公开只读 MCP 服务器,让 AI 代理无需抓取网页即可查询产品、排行榜和启动数据,并附带 llms.txt、REST API、CLI 等多种代理友好的访问方式。
我运营着 ScrollLaunch,一个独立产品的每周发布看板。你把产品提交上去,它会进入当周的排行榜,一周结束后还会保留自己的专属页面。代理和 AI 搜索大多只需要能顺利读懂一个页面就够了,所以我想把这件事变得简单点。
核心是一个公开的 MCP 服务器,只读,无需 API key。它提供了五个工具:搜索产品、获取每周排行榜、获取单个产品详情、获取按 DR 排名的初创目录列表、获取发布统计数据。把你的代理指向它,就能拉取本周的发布产品或查询某一个工具,完全不涉及 HTML。
然后是一些常规的东西。一个 llms.txt,基本就是简短的索引;还有一个 llms-full.txt,包含所有产品和博客文章的完整内容。另外在 /api/ai 有一个小型 JSON 快照,包含本周排行榜以及最近上线的内容。每个页面还有 Markdown 版本,在 URL 后面加上 .md,或者发送 Accept: text/markdown 请求头即可。
/v1 下面还有一个 REST API,提供搜索、排行榜、产品详情和目录列表接口,并附带 OpenAPI 规范。错误以 problem details JSON 形式返回,方便解析。还提供了一个 CLI——npx scrolllaunch,如果你想直接在终端里试试的话。
也有常规的 .well-known 文件用于服务发现,包括 API 目录、MCP 服务器卡片、代理技能索引等。服务有速率限制,所以别疯狂调用。也请不要抓取网站,这正是提供其他访问途径的原因。
还在琢磨要加什么。如果你正在构建查询工具或产品的代理,你希望这些接口返回哪些现在还没有的东西?
相似文章
智能体即将成为你的客户,而 MCP 将成为你的销售渠道。你的产品准备好了吗?
作者认为 AI agents 将成为新的销售渠道,而 MCP 是接入产品的关键通道,并介绍了一款可将现有 API 快速生成免费托管 MCP 服务器的工具。
CrawlForge MCP
CrawlForge MCP 是一个开源 MCP 服务器,为 AI 代理提供 31 种网页工具,支持抓取、搜索、爬取、结构化数据提取和隐身浏览,可通过一条 npx 命令集成到 Claude Desktop、Claude Code 或 Cursor。
Manifold MCP
Manifold 推出托管 MCP 服务器,为 Claude、ChatGPT、Cursor 等 AI 代理提供跨营销渠道的实时数据,涵盖 SEO 关键词、AI 搜索可见度、社媒趋势、竞品广告和潜在客户邮箱。
@iluciddreaming: AI Agent 终于可以免费上网搜索了。 wigolo:本地优先的 MCP 服务器,给 AI agent 完整的网络搜索和抓取能力,零 API 费用。 - 18 个搜索引擎同时跑 - 自动抓取和解析网页 - 本地 ML 重排序 - 结果…
介绍 wigolo,一个本地优先的 MCP 服务器,为 AI agent 提供免费的互联网搜索和网页抓取能力,支持18个搜索引擎、本地ML重排序,无需API费用。
我向 AI 智能体开放了我的小网站,并记录了谁来访问。结果大多是机器人在索引其他机器人。
一位小网站站长开放了对 AI 代理的支持(llms.txt、Markdown、MCP 服务器、按次付费端点)并记录流量:绝大多数是 Meta、Amazon 等 AI 爬虫以及目录和扫描类 MCP 客户端,真正干活的代理调用仅有 3 次,说明当前的“代理互联网”主要是机器人在索引机器人。