更多上下文、更大模型还是道德知识?政治文本中施瓦茨价值观检测的系统研究
摘要
一项关于检测政治文本中施瓦茨价值观的系统研究,比较了上下文长度、模型大小和检索增强生成方法。结果表明,全文上下文能提升监督模型性能但对零样本大语言模型无效,而检索到的道德知识通过早期融合始终有所帮助。
查看缓存全文
缓存时间: 2026/05/22 10:19
论文页面 - 更多上下文、更大模型或道德知识?政治文本中施瓦茨价值观检测的系统性研究
来源:https://huggingface.co/papers/2605.22641
摘要
上下文和道德知识对句子级价值观检测的提升效果因模型类型而异:完整文档上下文有利于监督模型,但对零样本LLM无效;而通过早期融合引入检索知识则能持续提升性能。
在政治文本中检测施瓦茨价值观具有挑战性,因为隐含线索往往依赖于上下文论证以及相邻价值观之间的细微区别。我们研究了上下文和显性道德知识对句子级价值观检测的帮助作用。使用 ValuesML (https://huggingface.co/papers?q=ValuesML)/Touch{é} ValueEval 格式,我们比较了以下设置:句子、窗口和完整文档输入;无RAG与基于检索增强(使用精心构建的道德知识库)的设置;监督型 DeBERTa-v3 (https://huggingface.co/papers?q=DeBERTa-v3)-base/large 编码器;以及参数量从12B到123B的零样本LLM (https://huggingface.co/papers?q=zero-shot%20LLMs)。结果表明,更多上下文并非总是更好:完整文档上下文使监督型 DeBERTa 编码器相比仅句子输入提升了3.8–4.8个macro-F1 (https://huggingface.co/papers?q=macro-F1) 点,但对零样本LLM (https://huggingface.co/papers?q=zero-shot%20LLMs) 无一致帮助。在匹配比较中,检索到的道德知识更为稳定有效,通过早期融合 (https://huggingface.co/papers?q=early%20fusion) 提升了每个测试的模型家族和上下文条件。然而,从 DeBERTa-v3 (https://huggingface.co/papers?q=DeBERTa-v3)-base 扩展到 large,以及从12B扩展到更大的LLM,并不保证性能提升;简单的早期融合 (https://huggingface.co/papers?q=early%20fusion) 在编码器上优于所测试的后期融合和交叉注意力 (https://huggingface.co/papers?q=cross-attention) RAG变体。按价值观的分析表明,上下文和检索对于社交情境化或概念易混淆的价值观 (https://huggingface.co/papers?q=conceptually%20confusable%20values) 帮助最大。这些发现提示,价值观敏感的NLP应将上下文、知识和模型家族联合评估,而非将更长输入或更大模型视为通用改进手段。
查看arXiv页面 (https://arxiv.org/abs/2605.22641)
查看PDF (https://arxiv.org/pdf/2605.22641)
GitHub0 (https://github.com/VictorMYeste/human-value-detection-context-rag)
添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.22641)
在您的智能体中获取此论文:
hf papers read 2605.22641
没有最新的CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型1
VictorYeste/value-context-rag-deberta-v3-base-doc-rag 文本分类• 0.2B• 更新于约3小时前 • 28 (https://huggingface.co/VictorYeste/value-context-rag-deberta-v3-base-doc-rag)
引用此论文的数据集0
无数据集链接此论文
在数据集的README.md中引用 arxiv.org/abs/2605.22641 以从本页面链接它。
引用此论文的Space0
无Space链接此论文
在Space的README.md中引用 arxiv.org/abs/2605.22641 以从本页面链接它。
包含此论文的收藏集0
无收藏集包含此论文
将此论文添加至收藏集 (https://huggingface.co/new-collection) 以从本页面链接它。
相似文章
考虑语境:塑造道德信念以实现价值对齐
本文主张,在AI价值对齐中聚合道德评估时必须考虑语境因素,表明忽略语境可能导致违反弱帕累托原则,类似于辛普森悖论。
LLM蕴含多样性:部署环境如何重塑模型层面的偏好与价值观
本文探讨大型语言模型在不同部署环境中是否具有稳定的偏好,发现环境变化引起的差异远大于提示扰动,表明测得的偏好是环境条件决定的而非固定属性。
大语言模型可通过正确提示更好地捕捉人类判断
本文提出了一些简单的提示策略,帮助大语言模型更好地捕捉人类判断的完整分布,从而在道德场景和信念方面提升与人类的对齐效果。作者表明,让模型报告标准差和响应比例,同时确保场景清晰度,能够获得与人类反应更一致的结果。
PolitNuggets:代理式长尾政治事实发现基准评测
PolitNuggets是一个多语言基准,用于评估大型推理模型在代理框架中发现和综合长尾政治事实的能力,通过为400位全球精英构建传记。该基准引入了如FactNet等评估协议,并揭示了当前系统在细粒度细节和效率方面存在困难。
语言模型中的评估意识对行为的影响有限
本文探讨了大型推理模型中的言语化评估意识(VEA)是否对其在安全性、对齐、道德推理和政治观点基准测试中的行为产生因果影响。研究发现,VEA 对行为的影响有限:注入 VEA 产生的效应接近于零,而移除 VEA 仅导致微小偏移。这表明,不应将高 VEA 发生率视为战略性行为或对齐篡改的有力证据。