同行投票的LLM智能体压力测试发现信息流诱导的词汇趋同,但分布式来源无可靠匹配暴露优势

Hugging Face Daily Papers 论文

摘要

论文介绍了PV-SST,一个用于LLM智能体的同行投票社交平台测试平台,并发现同行排名的信息流增加了词汇趋同,但在不同模型家族和主题上未能可靠产生意见捕获或协调优势。

大型语言模型(LLM)智能体的群体层面行为不能通过单智能体基准测试来刻画。我们介绍PV-SST,一个同行投票的社交平台测试平台,并报告一个独立冻结的、预注册的匹配暴露实验,涵盖四个主题、四个未使用的种子、四个开放权重模型家族和三个预指定的更大变体。实验包含448次试验和112个完整的模型-主题-种子区块。相对于仅主题对照组,一个由同行生成点赞排名的上一轮同行帖子信息流,在四家族核心面板中增加了最终轮次的词汇相似性(配对平均差异+0.0082 TF-IDF余弦单位,95%块自助置信区间[0.0043, 0.0121],随机化p=0.000105,n=64个区块),并在三变体规模扩展中也增加了(+0.0109 [0.0069, 0.0151],p=0.000001,n=48)。这种对比将同行帖子曝光与排名捆绑在一起,因此不能识别仅排名效应。对立面生存率在核心面板中下降(-3.9百分点[-6.8, -1.6],p=0.0068),但在更大变体中未显著(-1.0百分点[-3.1, 0.4],p=0.50)。保持对抗印象固定,四个分布式来源不能可靠地移动诚实智能体立场超过一个来源。预注册的分布式减去单一对比在核心面板中正但无定论(+0.057 [-0.009, 0.125],p=0.112),在更大变体中为负(-0.040 [-0.113, 0.035],p=0.332),未能满足预指定的跨模型和跨主题一致性标准。因此,稳健结果是在测试的同行排名信息流下的词汇趋同,而非普遍的意见捕获或普遍协调优势。该研究评估合成LLM智能体种群;它未估计对人类或生产平台的影响。
查看原文
查看缓存全文

缓存时间: 2026/08/24 16:29

论文页面 - 同行投票的LLM智能体压力测试发现:信息流引发词汇趋同,但分布式来源并未带来可靠的匹配曝光优势

来源:https://huggingface.co/papers/2608.20438

摘要

经过同行排名的合成LLM智能体信息流会增加词汇趋同,但在不同模型系列和话题下,并不能可靠地产生观点捕获或协调优势。

大型语言模型(LLM)智能体的群体行为无法通过单一智能体基准测试来刻画。我们引入了PV-SST(一个同行投票的社会平台测试平台)(https://huggingface.co/papers?q=peer-voted%20social-platform%20testbed),并报告了一项单独冻结、预先注册的匹配曝光实验,该实验涵盖四个话题、四个未使用的种子、四个开放权重模型系列和三个预设的更大变体。实验包含448次试验和112个完整的“模型×话题×种子”数据块。与仅控制话题相比,由同行生成的“赞”进行排名的前一轮同行帖子信息流,在四个模型系列的核心面板中增加了最终轮的词汇相似度(https://huggingface.co/papers?q=lexical%20similarity)(配对平均差+0.0082 TF-IDF余弦(https://huggingface.co/papers?q=TF-IDF%20cosine)单位,95%区块自举(https://huggingface.co/papers?q=block-bootstrap)置信区间[0.0043, 0.0121],随机化p=0.000105,n=64个区块),在三个变体的规模扩展中也是如此(+0.0109 [0.0069, 0.0151],p=0.000001,n=48)。这种对比捆绑了同行帖子曝光与排名,因此无法单独识别出排名效应。核心面板中的对立面存活率下降(-3.9个百分点 [-6.8, -1.6],p=0.0068),但在更大的变体中结论不明确(-1.0个百分点 [-3.1, 0.4],p=0.50)。在固定对抗性印象(https://huggingface.co/papers?q=adversarial%20impressions)的情况下,四个分布式来源(https://huggingface.co/papers?q=distributed%20sources)移动诚实智能体立场的可靠性并不比单一来源更强。预先注册的“分布式减去单一来源”对比在核心面板中为正但不确定(+0.057 [-0.009, 0.125],p=0.112),在更大变体中为负(-0.040 [-0.113, 0.035],p=0.332),未能满足预先规定的跨模型和跨话题一致性标准。因此,稳健的结果是在测试的同行排名信息流下出现词汇趋同,而非普遍的观点捕获或协调优势。本研究评估的是合成LLM智能体群体,并未估计对人类或生产平台的影响。

查看arXiv页面 (https://arxiv.org/abs/2608.20438)查看PDF (https://arxiv.org/pdf/2608.20438)项目页面 (https://huggingface.co/datasets/ranausmans/synthetic-social-networks)GitHub0 (https://github.com/ranausmanai/synthetic-social-networks)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.20438)

在你的智能体中获取此论文:

hf papers read 2608\.20438

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

无模型链接本文

在模型的README.md中引用 arxiv.org/abs/2608.20438 即可从本页面链接到它。

引用本文的数据集0

无数据集链接本文

在数据集的README.md中引用 arxiv.org/abs/2608.20438 即可从本页面链接到它。

引用本文的Space0

无Space链接本文

在Space的README.md中引用 arxiv.org/abs/2608.20438 即可从本页面链接到它。

包含本文的收藏夹0

无收藏夹包含本文

将本文添加到收藏夹 (https://huggingface.co/new-collection) 即可从本页面链接到它。

相似文章

多智能体LLMs未能相互探索

Hugging Face Daily Papers

本文指出当前LLM智能体未能系统地探索同伴,导致协调不佳,并引入MACE,一个轻量级框架,使用上下文赌博机进行有效的同伴选择。

超越静态排行榜:LLM智能体评估的预测有效性

Hugging Face Daily Papers

本文认为,针对LLM智能体基准测试的聚合得分排行榜未能捕捉到与部署相关的维度,并且表现出排名不稳定性。文章提出根据预测有效性(即样本内排名与样本外排名之间的相关性)来对配置进行排序,并引入了一个十二层级的测量体系以及可证伪的分布外准则。