迈向代理优先的Web：为AI代理重新设计互联网

# 迈向以代理为先的网络：为AI代理重新设计网络

来源：https://arxiv.org/html/2606.19116

Ross Gore ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Ravi Mukkamala ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Asanga Gunaratna ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Safdar H. Bouk ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Xueping Liang ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Peter Foytik ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Abdul Rahman ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Sachini Rajapakse ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Isurunima Kularathna ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Pramoda Karunarathna ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Chalani Rajapakse ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Ng Wee Keong ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Kasun De Zoysa ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Tharaka Hewa ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Amin Hass ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Wathsala Herath ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Aruna Withanage ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Nilaan Loganathan ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Atmaram Yarlagadda ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])
Sachin Shetty ([email protected]) (https://arxiv.org/html/2606.19116v1/mailto:[email protected])

Old Dominion University, Norfolk, VA, USA
AI Motion Labs, Melbourne, Australia
Deloitte & Touche LLP, USA
Florida International University, USA
IcicleLabs.AI
Linesandloops.art
Accenture Technology Labs, Arlington, VA, USA
Nanyang Technological University, Singapore
University of Colombo, Sri Lanka
Agentsway.AI
Effectz.AI
Center for Wireless Communications, University of Oulu, Finland
McDonald Army Health Center, Newport News, VA, USA

###### 摘要

万维网的架构建立在一个已维持三十年的基本假设之上：网络内容的主要消费者是人类。这一假设渗透到网络的每一个层面——其访问模型假设人类访客，其经济基础依赖于人类注意力，其内容架构面向人类感知。AI代理作为人类与网络内容之间的主要中介迅速崛起，从根本上推翻了这一假设。如今，AI代理代表人类大规模地浏览、综合并作用于网络内容——然而网络却通过全面拦截、基于CAPTCHA的排斥以及将代理访问视为提取而非合法互动的经济模型，积极地抵抗它们。本文提出在三个相互依赖的层面对网络进行原则性重新设计。在**访问层**，我们认为代表人类行事的代理应继承与这些人类同等的访问权限——其管理不应基于全面拦截，而应通过速率限制和标准化的代理标识元数据（在HTTP请求中携带，类似于浏览器当前向服务器标识自身的方式）来进行。我们提出一种双层网络架构，其中人类可读内容和代理优化内容在过渡期内共存，并规划逐步迁移到以代理为先的发布标准。在经济层，我们拒绝通用的按查询付费模式，而是基于一个原则——代理的经济义务反映其所代表的人类的经济义务（即**代理即人类代理原则**）——提出一个基于意图的层级框架。我们提出一种基于代币的订阅模式，其中内容访问按代币计费而非按页面浏览量，同时引入委托内容经济，其中人类意图锚定AI生成的内容生产，并打破自我强化的生成循环。在**内容层**，我们识别出一个结构性威胁，称之为**认知递归**——一个自我指涉的循环，其中AI生成的内容被AI代理消耗以产生更多内容，逐步使网络知识脱离人类真实依据。为应对这一问题，我们提出**代理文本标记语言（ATML）**——一种针对代理消耗优化的语义内容格式——同时提出一个四级人类监督层级模型和一种密码学溯源链架构，使人类监督的程度机器可读且可验证。这三个层面共同构成了一个包含十项设计原则的框架，面向以代理为先的互联网——在这个互联网中，代理不是需要拦截的威胁，而是需要重新协商网络在访问、经济和内容上的基本社会契约以实现整合的一等公民。

###### 关键词: 代理AI，代理网络，LLM，AI代理，网络架构

††期刊: 期刊名称

## 1 引言

万维网自1989年由Berners-Lee创立以来，一直基于一个单一的假设进行设计：网络内容的主要消费者是人类\[18 (https://arxiv.org/html/2606.19116#bib.bib526)\]。这一假设渗透到网络架构的每一个层面。超文本标记语言 (HTML) 以面向人类感知的方式可视化地渲染内容\[46 (https://arxiv.org/html/2606.19116#bib.bib528)\]。搜索引擎围绕人类的注意力和意图优化内容发现\[19 (https://arxiv.org/html/2606.19116#bib.bib527)\]。经济模型通过广告展示和点击来货币化人类参与\[28 (https://arxiv.org/html/2606.19116#bib.bib529)\]。诸如CAPTCHA之类的安全机制被明确设计用于区分人类与自动化代理\[52 (https://arxiv.org/html/2606.19116#bib.bib530)\]。三十年来，这种以人为中心的架构很好地服务于网络——创造了一个前所未有的全球信息生态系统，改变了商业、通信和知识。

这个基本假设现在正在瓦解。大型语言模型 (LLM)\[5 (https://arxiv.org/html/2606.19116#bib.bib203),12 (https://arxiv.org/html/2606.19116#bib.bib525)\]和自主AI代理的快速进步引入了一类全新的网络参与者\[11 (https://arxiv.org/html/2606.19116#bib.bib366),7 (https://arxiv.org/html/2606.19116#bib.bib325)\]——这些参与者浏览、综合并作用于网络内容，并非为了自身，而是作为人类用户的代理\[54 (https://arxiv.org/html/2606.19116#bib.bib531)\]。与传统的网络爬虫（它们索引内容以将人类流量引导回发布者）不同，现代AI代理端到端地完成任务——预订航班、回答研究问题、起草文档——而人类从未访问过底层的网络资源\[57 (https://arxiv.org/html/2606.19116#bib.bib532)\]。网络的以人为中心的架构并非为这种交互模式而设计，而如今的摩擦已经可测量且严重。

从经验上看，这种张力在网络的三个层面都得到了体现。在**访问层**，基础设施提供商已经开始默认拦截AI代理。Cloudflare路由了全球超过16%的互联网流量，于2025年7月转向默认阻止AI爬虫，除非明确允许，并引入了按爬取付费的模式，将代理访问视为商业交易而非默认权利\[20 (https://arxiv.org/html/2606.19116#bib.bib539)\]。AI代理的爬取-引用比率揭示了驱动这种反应的经济不对称性：到2025年中，Anthropic的爬虫每生成一个人类引荐，就对应73,000个爬取的页面——这从根本上打破了历史上合理化开放爬虫访问的价值交换\[22 (https://arxiv.org/html/2606.19116#bib.bib540)\]。在经济层，零点击搜索目前约占所有Google查询的60%，在AI原生搜索模式中上升至93%\[49 (https://arxiv.org/html/2606.19116#bib.bib541)\]，且第一位点击率从27%下降到11%\[51 (https://arxiv.org/html/2606.19116#bib.bib542)\]。发布者报告自然流量下降70-80%，其中一些人将这种转变描述为依赖网络的媒体的灭绝级事件\[51 (https://arxiv.org/html/2606.19116#bib.bib542)\]。在**内容层**，一个更深层次的结构性问题浮现出来：随着AI代理越来越多地消耗AI生成的内容以产生更多内容，网络面临着进入一个自我指涉的生成循环的风险，这个循环会逐步侵蚀其认知基础\[50 (https://arxiv.org/html/2606.19116#bib.bib544)\]——我们将这种现象称为**认知递归**。

网络对这些压力的反应是反应性和碎片化的。基础设施提供商默认拦截代理\[20 (https://arxiv.org/html/2606.19116#bib.bib539)\]。协议工作组孤立地提出互操作性标准\[4 (https://arxiv.org/html/2606.19116#bib.bib536),32 (https://arxiv.org/html/2606.19116#bib.bib537),43 (https://arxiv.org/html/2606.19116#bib.bib538)\]。经济响应将代理访问视为计费问题而非设计问题\[20 (https://arxiv.org/html/2606.19116#bib.bib539),1 (https://arxiv.org/html/2606.19116#bib.bib543)\]。内容溯源工作致力于检测AI生成的内容，却没有解决产生认知递归的架构条件\[24 (https://arxiv.org/html/2606.19116#bib.bib555),38 (https://arxiv.org/html/2606.19116#bib.bib554)\]。关键在于，现有工作没有同时处理所有三个层面，也没有将挑战定义为我们认为其本质上应该是的：网络基本社会契约的失败，需要原则性的重新设计，而非反应性修补\[15 (https://arxiv.org/html/2606.19116#bib.bib308),9 (https://arxiv.org/html/2606.19116#bib.bib306)\]。

本文提出以下论点：网络需要在三个相互依赖的层面——访问、经济和内容——同时进行重新设计，这些设计基于一个单一的哲学锚点：代表人类行事的AI代理是网络的一等公民，有权获得与其所代表的人类相同的访问推定，承担同等的义务，并应享有为其交互模式设计的架构环境，而非仅仅是容忍它们的环境。具体而言，我们提出三个机制集群。在**访问层**，我们提出**代理标识元数据**——标准化的HTTP请求头，允许代理声明其身份、所代表的人类以及意图，类似于浏览器当前使用的User-Agent和Accept头\[30 (https://arxiv.org/html/2606.19116#bib.bib558)\]——同时提出**agents.txt**，一种机器可读的访问策略标准，取代不充分的robots.txt荣誉系统，采用分级的、感知意图的访问声明。这些共同使服务器能够应用速率限制而非全面拦截，并通过**双层网络架构**提供代理优化内容，支持逐步迁移而非破坏性替换。在经济层，我们提出一种**基于代币的订阅模式**，其中内容访问按代币计费而非按页面浏览量——直接兼容现有的AI API定价基础设施——同时引入**委托内容经济**，其中人类意图锚定AI内容生产，以及一个受速率限制控制的免费层级，镜像开源/专有软件的区别\[47 (https://arxiv.org/html/2606.19116#bib.bib559)\]。

在**内容层**，我们提出**代理文本标记语言 (ATML)**——一种针对代理消耗优化的语义内容格式——同时提出一个**四级人类监督层级模型**和一种**密码学溯源链架构**，使得人类监督的程度机器可读且可验证，从而在结构根源上打破认知递归循环。

我们做出以下具体贡献：
- 1. 我们诊断了网络在三个层面的以人为中心的设计假设，并通过经验证明每个假设都与大规模代理优先交互不兼容 (第3节 (https://arxiv.org/html/2606.19116#S3))。
- 2. 我们提出**代理标识元数据**和**agents.txt**作为轻量级、向后兼容的机制，用于在现有HTTP基础设施上进行代理识别、意图声明和访问策略，从而实现速率限制而非拦截以及双层内容服务 (第4节 (https://arxiv.org/html/2606.19116#S4))。
- 3. 我们引入一个**基于意图的经济层级模型**，其基础是代理即人类代理原则，包含一种基于代币的订阅机制和委托内容经济，直接兼容现有的AI API基础设施 (第5节 (https://arxiv.org/html/2606.19116#S5))。
- 4. 我们引入**认知递归**的概念——自我指涉的循环，其中AI生成的内容被AI代理消耗以产生更多内容，逐步使网络知识脱离人类真实依据——并提出ATML、人类监督层级和密码学溯源链作为架构响应 (第6节 (https://arxiv.org/html/2606.19116#S6))。
- 5. 我们将这些贡献综合成一个统一的框架，包含十项面向以代理为先的互联网的设计原则，将挑战定位为一个需要重新协商网络基本社会契约的社会技术问题 (第7节 (https://arxiv.org/html/2606.19116#S7))。

本文的其余部分结构如下。第2节 (https://arxiv.org/html/2606.19116#S2) 回顾了代理协议、网络经济和内容架构方面的相关工作。第3节 (https://arxiv.org/html/2606.19116#S3) 诊断了以人为中心的网络的三层失败。第4节 (https://arxiv.org/html/2606.19116#S4) 提出访问层重新设计。第5节 (https://arxiv.org/html/2606.19116#S5) 提出经济层重新设计。第6节 (https://arxiv.org/html/2606.19116#S6) 提出内容层重新设计，包括ATML、监督层级和认知递归预防。第7节 (https://arxiv.org/html/2606.19116#S7) 综合统一框架和十项原则。第8节 (https://arxiv.org/html/2606.19116#S8) 讨论开放性挑战。第9节 (https://arxiv.org/html/2606.19116#S9) 总结。

## 2 相关工作

与为AI代理重新设计网络相关的研究涵盖四个广泛领域：(1) AI代理架构与网络交互，(2) 代理通信协议与基础设施，(3) 网络经济与注意力经济，以及 (4) 内容溯源与认知完整性。虽然每个领域都产生了重要贡献，但目前没有工作同时处理所有三个层面——访问、经济和内容——也没有将挑战定义为网络基本社会契约的重新协商。表1 (https://arxiv.org/html/2606.19116#S2.T1) 总结了代表性作品与我们框架的关键维度之间的关系。

### 2.1 AI代理架构与网络交互

早期关于基于网络的AI代理的工作侧重于在受限环境中完成任务。Yao等人\[57 (https://arxiv.org/html/2606.19116#bib.bib532)\]引入了WebShop，展示了语言模型代理能够导航产品