代理运营的公司实现指数级增长需要什么条件？

代理运营的公司能否像其背后的AI一样快速增长？如果模型和代理系统持续呈指数级改进，围绕它们建立的公司能否以类似速度增长？代理可以开发产品、寻找客户、处理入职流程并维护已部署的系统。来自这些客户的收入可以资助更多容量，而更好的模型使每个代理更具生产力。原则上，业务可以在不雇佣和培训相应数量人员的情况下扩展。随着公司服务更多客户，还需要检查更多决策并修复更多错误。其他代理可以测试变更、监控部署系统并处理恢复。为了使这些检查有用，审查者需要能够反驳生产者的证据，以及足够的权限来停止部署或升级问题。这些额外的代理能提供多少保护？如果生产者和审查者继承了相同的错误假设，他们可能在都错误的情况下达成一致。从有缺陷的规范生成的测试可以忠实地确认规范的错误。我们的初步怀疑并未完全成立。我们最初担心依赖于少数几个基础模型的企业会犯类似的错误，从而限制使用多个模型相互验证/确认所提供的保护。我们的第一项研究大大削弱了这一担忧。在一项回顾性小组中，模型经常在相同问题上失败，但大部分重叠与某些问题对模型来说本身较难是一致的。在调整任务难度后，典型的残余重叠接近零。一个新的前瞻性小组仅保留了少量的正残留。在我们测试的对比中，更改模型端点比更改证据源更能减少故障重叠。这改变了一系列模型和部署特性，因此这不是对供应商身份的纯粹测试。我们无法合理地得出模型多样性无用，或共享输入比模型选择更重要的结论。共享错误输入：当模型接收相同的错误输入而非独立分配的错误时，它们是否更可能一起失败？后续研究使用了八条固定的模型/部署路线和包含一个可恢复错误字段的合成记录。在一种条件下，每条路线接收到相同的损坏版本。在另一种条件下，每条路线从相同的损坏池中独立抽取，仍可能发生意外匹配。每条路线必须识别错误并返回指定的修复。它们没有审查彼此的答案或运营业务。我们测试了在这种交叉检查系统中可能重要的一个潜在共享故障源。在相同的1,677个项族中：平均精确修复失败率几乎没有变化：59.2% → 59.9%。所有八条路线都失败的案例从77增加到117，即4.59% → 6.98%。仅凭平均值会很大程度上错过全八失败的变化。这些发现是初步的，尚未经过同行评审。1 这对增长问题意味着什么。这些实验没有确立业务增长的上限或衡量现实世界的损失。结果表明，当代理用于检查其他代理时，应直接测量共享故障。仅审查者的数量及其个人准确性不会告诉公司错误可能通过所有检查的频率。更好的代理可以同时改进生产、检查和恢复。这些功能是否跟上进度是一个我们尚未解答的操作问题。而一个公司获得市场份额或将修复成本转嫁给客户与经济在相同资源下产出更多是不同的。如果你正在扩展一个代理运营操作，你正在测量什么来判断代理弹性系统是否足够好地扩展到10倍代理集群？100倍？1000倍？ ----- 平均值和全八比较来自后续分析，研究未满足其全部确认标准。分析使用了与协议不同的权重，且在收集前省略了所需的统计支持检查，在之后重构时失败。平均变化的区间包含零，而错误检测和最终答案失败未建立相同模式。至少一半路线失败的案例比例实际上略有下降。未满足精确修复要求也并不一定意味着返回错误的最终答案。