AI代理会使用网站自身的语义搜索端点吗？

当代理需要从网站获取答案时，它通常会搜索、获取一个或多个页面、剥离HTML，并猜测哪个页面是权威的。我一直在一个名为Agentize的小型开源包中原型化一种不同的方法。网站所有者选择公开内容，本地构建语义索引，并在/agents/*下暴露搜索和Markdown资源。结果保留规范URL，以便代理仍然可以检查源。我构建了这个包，所以我对这个想法有既得利益。我在这篇文章中省略了链接，因为我想测试前提，而不是驱动安装。你会教代理在爬取之前检查这样的端点吗？我看到的弱点是发布者偏见、不完整索引，以及代理需要独立验证声明。除非代理运行时在发现上达成一致，否则采用似乎也很困难。这解决了一个真实的检索问题，还是重复了llms.txt、MCP和正常浏览，而没有足够的益处？我特别重视任何构建或研究代理的人提出的反对意见。