同行投票的LLM智能体压力测试发现信息流诱导的词汇趋同,但分布式来源无可靠匹配暴露优势
摘要
论文介绍了PV-SST,一个用于LLM智能体的同行投票社交平台测试平台,并发现同行排名的信息流增加了词汇趋同,但在不同模型家族和主题上未能可靠产生意见捕获或协调优势。
查看缓存全文
缓存时间: 2026/08/24 16:29
论文页面 - 同行投票的LLM智能体压力测试发现:信息流引发词汇趋同,但分布式来源并未带来可靠的匹配曝光优势
来源:https://huggingface.co/papers/2608.20438
摘要
经过同行排名的合成LLM智能体信息流会增加词汇趋同,但在不同模型系列和话题下,并不能可靠地产生观点捕获或协调优势。
大型语言模型(LLM)智能体的群体行为无法通过单一智能体基准测试来刻画。我们引入了PV-SST(一个同行投票的社会平台测试平台)(https://huggingface.co/papers?q=peer-voted%20social-platform%20testbed),并报告了一项单独冻结、预先注册的匹配曝光实验,该实验涵盖四个话题、四个未使用的种子、四个开放权重模型系列和三个预设的更大变体。实验包含448次试验和112个完整的“模型×话题×种子”数据块。与仅控制话题相比,由同行生成的“赞”进行排名的前一轮同行帖子信息流,在四个模型系列的核心面板中增加了最终轮的词汇相似度(https://huggingface.co/papers?q=lexical%20similarity)(配对平均差+0.0082 TF-IDF余弦(https://huggingface.co/papers?q=TF-IDF%20cosine)单位,95%区块自举(https://huggingface.co/papers?q=block-bootstrap)置信区间[0.0043, 0.0121],随机化p=0.000105,n=64个区块),在三个变体的规模扩展中也是如此(+0.0109 [0.0069, 0.0151],p=0.000001,n=48)。这种对比捆绑了同行帖子曝光与排名,因此无法单独识别出排名效应。核心面板中的对立面存活率下降(-3.9个百分点 [-6.8, -1.6],p=0.0068),但在更大的变体中结论不明确(-1.0个百分点 [-3.1, 0.4],p=0.50)。在固定对抗性印象(https://huggingface.co/papers?q=adversarial%20impressions)的情况下,四个分布式来源(https://huggingface.co/papers?q=distributed%20sources)移动诚实智能体立场的可靠性并不比单一来源更强。预先注册的“分布式减去单一来源”对比在核心面板中为正但不确定(+0.057 [-0.009, 0.125],p=0.112),在更大变体中为负(-0.040 [-0.113, 0.035],p=0.332),未能满足预先规定的跨模型和跨话题一致性标准。因此,稳健的结果是在测试的同行排名信息流下出现词汇趋同,而非普遍的观点捕获或协调优势。本研究评估的是合成LLM智能体群体,并未估计对人类或生产平台的影响。
查看arXiv页面 (https://arxiv.org/abs/2608.20438)查看PDF (https://arxiv.org/pdf/2608.20438)项目页面 (https://huggingface.co/datasets/ranausmans/synthetic-social-networks)GitHub0 (https://github.com/ranausmanai/synthetic-social-networks)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.20438)
在你的智能体中获取此论文:
hf papers read 2608\.20438
没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型0
无模型链接本文
在模型的README.md中引用 arxiv.org/abs/2608.20438 即可从本页面链接到它。
引用本文的数据集0
无数据集链接本文
在数据集的README.md中引用 arxiv.org/abs/2608.20438 即可从本页面链接到它。
引用本文的Space0
无Space链接本文
在Space的README.md中引用 arxiv.org/abs/2608.20438 即可从本页面链接到它。
包含本文的收藏夹0
无收藏夹包含本文
将本文添加到收藏夹 (https://huggingface.co/new-collection) 即可从本页面链接到它。
相似文章
多智能体LLMs未能相互探索
本文指出当前LLM智能体未能系统地探索同伴,导致协调不佳,并引入MACE,一个轻量级框架,使用上下文赌博机进行有效的同伴选择。
LLM智能体可预测社交媒体反应但仍不敌文本分类器:基于1511人12万+人格的仿真准确性基准测试
大规模研究发现,LLM智能体以70.7%的准确率预测个人社交媒体反应,却仍落后于简单TF-IDF分类器,凸显其操控风险与政策模拟价值。
超越静态排行榜:LLM智能体评估的预测有效性
本文认为,针对LLM智能体基准测试的聚合得分排行榜未能捕捉到与部署相关的维度,并且表现出排名不稳定性。文章提出根据预测有效性(即样本内排名与样本外排名之间的相关性)来对配置进行排序,并引入了一个十二层级的测量体系以及可证伪的分布外准则。
PADMÉ:面向语言模型智能体评估器元评估的偏好对齐数据合成方法
PADMÉ 将语言模型智能体评估器的元评估重新表述为一个偏好对齐问题,并提出了一种仅使用小型语言模型的数据合成方法。与朴素基线相比,该方法将与人类判断的一致率从 73% 提升至 85%,同时能够在智能体领域对 25 个常见模型进行评估。
大型语言模型中的从众缓解措施位于同一条抵抗-接受前沿上
一项研究衡量了大型语言模型在多智能体环境中如何遵从一致的同伴意见,发现现有缓解措施在抵抗性与接受性之间存在权衡,而推理是唯一能在MMLU上同时提升两者的干预措施。