一百万人,一百万个人工智能代理,三个基础模型。这能构成多元化的审议吗?——又如何衡量?
摘要
针对仅用三个基础模型支撑数百万个人工智能代理是否能产生真正多元化的审议进行批判性反思,认为模型间的相关误差可能造成虚假的一致意见,并寻求从集成学习中得出的可操作指标来衡量真正的人类代表性多样性。
假设每个人都有一个了解他们的个人AI,这些代理在决策到达人类之前代表他们进行协商。有人向我提出了这个反对意见,我一直无法回答:三个提供商对一个人来说可能感觉多元,但对于涉及一百万人的决策来说,远远不够多元。对我来说,比较三个模型是真正的多元主义——我看到了真正不同的答案。但在人口规模上,重要的不是输出是否看起来不同。而是错误是否独立。如果一百万个代理共享少数几个基础模型,一个系统性的盲点不会表现为需要解决的分歧。它表现为一致同意。审议看起来会在它失败的那一刻完美运行。供应商数量显然是个错误的指标。“三家公司”告诉你他们的失败模式是否相关——他们在重叠的语料库上训练,使用相似的架构,并且越来越多地相互蒸馏。问题:你究竟会测量什么来区分“所代表人类的多样性”和“底层模型的多样性”?我追求的是可操作的东西——一个可以在实际审议中计算并根据其采取行动的量。对我有用的是:来自集成学习或预测领域的指标,它们可以迁移到这里,以及它们需要的输入;关于聚合中相关误差的研究(我怀疑这是某个我不知道的领域中已解决的问题);一个论证,证明我所做的区分是混乱的——即“代表的人类多样性”在原则上与模型多样性不可分离;一个阈值:怎样的去相关才足够去相关,以及如何决定?无用的是:“只要用更多模型。”这正是一个答案,其充分性我正在质疑。
相似文章
人工审议群体的智慧
这项研究将人类审议范式应用于大语言模型,发现多样模型之间的审议能够降低集体错误并提高个人准确性,在多个现实世界领域中,多样性至关重要。
我一直在思考,AI代理在做重要决策时是否应该只依赖单个模型。
作者在某个研究任务上对多个AI模型进行了对比测试,发现模型有时会自信地给出不同答案。他们建议,对于规划、代码审查或研究等重要决策,AI代理应考虑多个模型的观点,并询问他人如何处理这一问题。
我越是用多个模型,就越觉得“AI共识”是个陷阱——分歧才是唯一值得关注的部分
一篇反思文章,认为在多模型设置中,共识输出的价值低于分歧,分歧揭示了问题中真正存在争议的部分。文章质疑共识是否应该是目标,以及如何区分有建设性的分歧与无意义的噪音。
超越对称智能体:小型语言模型中的认知多样性与多智能体辩论
本文测试认知多样性(角色设定、温度、模型身份)是否能在小型开源权重模型中带来多智能体辩论的增益,并在 5,500 多次预算匹配的实验中否定了这一假设,认为文献中报告的 MAD 改进本质上是一种集成采样效应,而非多样性的收益。
当多个模型参与时,AI代理感觉更加可靠
探索如何使用多个AI模型进行代理工作流,揭示隐藏的不确定性和推理差距,表明未来的系统可能依赖跨模型共识而非单模型链。