论文页面 - τ-Rec：面向智能推荐系统的可验证基准测试

来源：https://huggingface.co/papers/2606.10156

摘要

本文提出一个面向智能推荐系统（agentic recommender systems）的基准测试，利用可验证奖励和受控对话约束来评估对话智能体的可靠性，揭示了主流模型间存在显著性能差距。

随着推荐系统向智能化的多轮对话界面（https://huggingface.co/papers?q=conversational%20interfaces）转型，评估范式难以跟上步伐。当前基准测试常依赖“大模型作为评判者（https://huggingface.co/papers?q=LLM-as-a-judge）“的评估方式，这引入了主观性、高成本和不一致性。我们提出 τ-Rec，一个面向智能推荐系统（https://huggingface.co/papers?q=agentic%20recommender%20systems）的基准测试，它用可验证奖励替代主观评估，并引入一种带有揭示标签的诱导机制（https://huggingface.co/papers?q=reveal-tagged%20elicitation）（RTE），用于控制任务约束在对话中出现的方式。通过对智能体进行结构化目录谓词（https://huggingface.co/papers?q=structured%20catalog%20predicates）测试，并采用 pass^k 可靠性指标（https://huggingface.co/papers?q=pass%5Ek%20reliability%20metric），τ-Rec 为一致性推理提供了系统性测试。我们对来自五个模型族（GPT-5.4、Claude Sonnet 4.6、Gemini 2.5 Flash、DeepSeek V4 Flash、Qwen3-32B 和 GPT-5 mini）的九种配置进行了评估，结果揭示了一个陡峭的可靠性悬崖：即使是最佳模型，在 pass^1 上也仅达到约57%，在 pass^4 上仅为约38%，这凸显了当前对话智能体部署中的关键差距。所有代码和数据均公开于 https://github.com/nbharaths/tau-rec。

查看 arXiv 页面（https://arxiv.org/abs/2606.10156）查看 PDF（https://arxiv.org/pdf/2606.10156）GitHub1（https://github.com/nbharaths/tau-rec）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.10156）

在你的智能体中获取此论文：

hf papers read 2606.10156

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.10156 即可从此页面链接。

引用此论文的数据集1

nbharaths/tau-rec 查看器• 更新于约11小时前 • 120（https://huggingface.co/datasets/nbharaths/tau-rec）

引用此论文的 Space0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.10156 即可从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集（https://huggingface.co/new-collection）即可从此页面链接。