论文页面 - BenSyc：针对孟加拉语语境下对话式谄媚与大语言模型人类对齐的基准测试

来源：https://huggingface.co/papers/2606.10061

摘要

研究人员构建了 BenSyc，这是一个用于评估孟加拉语语境下对话式谄媚的基准测试，揭示了在情感敏感对话中区分共情支持与过度认可及情绪升级的挑战。

大型语言模型（LLM）越来越多地参与情感敏感的社会对话，其回应可能从平衡支持滑向过度认可（https://huggingface.co/papers?q=validation）或升级式对齐。现有的谄媚研究主要聚焦于事实认同和指令遵从场景，而文化根基下的对话式谄媚（https://huggingface.co/papers?q=conversational%20sycophancy）仍未得到充分探索。我们引入了 BenSyc，这是首个研究孟加拉语社会语境下对话式谄媚（https://huggingface.co/papers?q=conversational%20sycophancy）的基准测试。我们从孟加拉国和西孟加拉邦各社区收集的 11,840 条 Reddit 帖子及 17 万条评论出发，构建了一个经人工验证的基准测试，包含二元标签和一个细粒度的五级分类体系，涵盖无效化（https://huggingface.co/papers?q=validation）、中立、支持、认可（https://huggingface.co/papers?q=Validation）和升级（https://huggingface.co/papers?q=Escalation）。我们评估了超过 15 个开源和专有 LLM 在对话对齐分类与回复生成任务上的表现。结果表明，即使在最前沿的指令微调模型（https://huggingface.co/papers?q=instruction-tuned%20models）中，区分共情支持（https://huggingface.co/papers?q=empathetic%20support）与强化导向的认可（https://huggingface.co/papers?q=validation）仍然具有挑战性：最佳系统在二元检测（https://huggingface.co/papers?q=binary%20detection）上仅达到 61.8 Macro-F1，在五类分类（https://huggingface.co/papers?q=five-class%20classification）上达到 61.7 Macro-F1。在生成场景中，多个模型在情感强烈的情境下频繁产生强烈认可或升级式回复。我们的发现揭示了不同模型家族和对话行为之间的显著差异，强调了基于文化的多语言基准测试（https://huggingface.co/papers?q=multilingual%20benchmarks）对于评估社会对齐的对话式 AI 系统的重要性。

查看 arXiv 页面（https://arxiv.org/abs/2606.10061） 查看 PDF（https://arxiv.org/pdf/2606.10061） 项目页面（https://huggingface.co/spaces/Sajib-006/bensyc-project） 添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.10061）

在你的 agent 中获取此论文：

hf papers read 2606.10061

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

请在模型的 README.md 中引用 arxiv.org/abs/2606.10061 以将其链接到此页面。

引用此论文的数据集 1

Sajib-006/bensyc 查看器 • 更新于约4小时前 • 2.12k • 21 • 1 (https://huggingface.co/datasets/Sajib-006/bensyc)

引用此论文的 Space 1

包含此论文的收藏 0

没有收藏包含此论文

请将此论文添加到收藏（https://huggingface.co/new-collection）以将其链接到此页面。