RESCUE-BENCH:面向多方情感支持对话中的关系感知评估基准

Hugging Face Daily Papers 论文

摘要

本文提出了RESCUE-BENCH,一个用于评估大型语言模型在多方对话中关系感知能力的情感支持基准,揭示了当前模型在建模人际关系动态方面的局限性。

现有的情感支持对话系统主要聚焦于一对一的求助者-支持者互动及个体情感状态,对多方场景中的人际关系探索不足。本研究提出关系感知情感支持对话这一新任务,旨在评估LLMs能否捕捉并利用人际关系的动态演化以提供更有效的情感支持。我们从真实的伴侣与家庭访谈对话中构建了RESCUE(关系感知情感支持对话理解与评估基准),包含191个样本、7,079个标注对话轮次及1,064.8分钟的视频。基于丰富的社会情感与支持相关动态标注,RESCUE定义了六项任务,用于评估关系感知情感支持所需的两大核心能力:关系理解与关系敏感型支持。对十种LLMs的实验表明,当前模型在依赖局部情感或干预线索的任务上表现尚可,但在关系密集型任务(如关系模式预测、观点预测和支持策略预测)上仍面临挑战。这些发现揭示了当前LLMs在建模人际关系及做出关系敏感型支持决策方面的局限性。
查看原文
查看缓存全文

缓存时间: 2026/09/10 06:10

论文页面 - RESCUE-BENCH:面向关系感知的多人情感支持对话系统

来源:https://huggingface.co/papers/2609.09657

摘要

本研究引入了一个基准测试,用于评估大型语言模型是否能够理解动态变化的人际关系,从而在多人场景中提供有效的情感支持。

现有情感支持对话系统主要关注一对一的求助者-支持者互动及个体情感状态,对多人场景中的人际关系探索不足。本研究提出关系感知型情感支持对话任务,评估大语言模型能否捕捉并利用动态变化的关系动态,以提供更有效的情感支持。我们基于真实的夫妻与家庭访谈对话构建了RESCUE基准测试,包含191个样本、7,079个标注轮次及1,064.8分钟视频内容。依托丰富的社会情感与支持相关动态标注,RESCUE基准测试定义了六项任务,用于评估关系感知型情感支持所需的两项核心能力:关系理解与关系敏感型支持。针对十项大语言模型的实验表明,当前模型在依赖局部情感或干预线索的任务上表现良好,但在关系密集型任务(如关系模式预测、观点预测和支持策略预测)上表现欠佳。这些发现揭示了当前大语言模型在建模人际关系与制定关系敏感型支持决策方面的局限性。

查看arXiv页面 (https://arxiv.org/abs/2609.09657) 查看PDF (https://arxiv.org/pdf/2609.09657) GitHub1 (https://github.com/Tomsawyerhu/RESCUE-bench) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.09657)

通过智能助手获取本文:

hf papers read 2609\.09657

尚未安装最新CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

无模型链接本文

在模型README.md中引用arxiv.org/abs/2609.09657即可从本页面链接。

引用本文的数据集0

无数据集链接本文

在数据集README.md中引用arxiv.org/abs/2609.09657即可从本页面链接。

引用本文的空间0

无空间链接本文

在空间README.md中引用arxiv.org/abs/2609.09657即可从本页面链接。

包含本文的合集0

无合集包含本文

将本文加入合集 (https://huggingface.co/new-collection) 即可从本页面链接。

相似文章

RELATE:衡量大语言模型关系导向的评估框架

arXiv cs.CL

论文提出了RELATE——一个以角色为条件的评估框架,通过多轮情感支持对话中面向内部和向外搭建脚手架的语言,测量大语言模型的关系导向。研究发现,随着时间推移,大语言模型越来越倾向于将用户引向模型自身,而非现实世界中的关系。

DistressBench:评估大型语言模型的多维度危机支持能力

arXiv cs.CL

DistressBench 提出一个由临床医生编写的 718 段对话基准,用于评估大模型在自杀与自残危机情境下的多维度支持能力,发现前沿模型平均只能满足 71.4% 的必要照护标准,且常在识别危机后未能引导用户寻求人工帮助。

τ-Emotion-Bench:通过真实用户情绪揭示 LLM Agent 交互的脆弱性

Hugging Face Daily Papers

τ-Emotion-Bench 提出了一个涵盖十个领域的基准,用于在情绪条件化用户交互下评估工具调用 LLM Agent,同时发布了 Tracer——一个可扩展的 Agent 数据生成流程,能够提升 Qwen3 模型的性能,并可泛化至 τ-Bench 和 τ-Trait。研究结果表明,当前最先进的 Agent 在用户表现出情绪化行为时仍然不可靠。