面向决策的推荐重排序:一项关于 Jev 的实证研究

Hugging Face Daily Papers 论文

摘要

本文对 Jev 这一面向决策的“系统一模型”(System One Model)在个性化推荐重排序中的表现进行了实证研究,发现与推荐专用模型以及逐点式(pointwise)和列表式(listwise)大语言模型重排序器相比,它在多个领域和候选集规模下占据了截然不同的质量—延迟运行区间。

大语言模型(LLMs)在推荐重排序方面展现出了良好的应用前景,但其引入也带来了推荐质量与服务效率之间的重要权衡。我们研究了当重排序任务本质上是在预定义候选项目之间进行结构化选择时,面向决策的模型能否提供一个有价值的替代方案。具体而言,我们对被 TypeSafe AI 描述为“系统一模型”(System One Model)的 Jev 在个性化推荐重排序中的表现进行了受控实证研究,并在多个 Amazon Reviews 领域和不同候选集规模下,将其与推荐专用模型以及逐点式(pointwise)和列表式(listwise)Qwen 重排序器进行了对比,同时评估了推荐效果和实测服务延迟。结果表明,相对于所评估的基线方法,Jev 保持了较强的推荐效果,并且其延迟增长远比逐点式 Qwen 重排序器平缓得多,尽管其实测服务延迟仍显著高于推荐专用模型。这些特性共同将 Jev 置于一个跨越不同候选规模和领域的独特质量—延迟运行区间。这些发现为进一步探索面向决策的模型在推荐及其他输出空间具有结构化特征的排序任务中的应用提供了依据。
查看原文
查看缓存全文

缓存时间: 2026/10/01 04:20

论文页面 - 面向决策的推荐重排序:Jev 的实证研究

来源:https://huggingface.co/papers/2609.40241

面向决策的模型能否比通用 LLM 更适合推荐重排序?

在这项工作中,我们研究了 Jev——一种面向决策的“系统一模型(System One Model)“——在个性化推荐重排序中的表现。在多个领域和候选集规模的实验中,我们发现与推荐专用模型以及 pointwise/listwise LLM 重排序器相比,Jev 占据了一个截然不同的质量-延迟运行区间。

我们希望这项研究能引发更多关于面向决策的模型在推荐及其他结构化排序任务中应用的讨论。期待听到你的想法!

相似文章

Jev 之类的决策模型并未胜过 LLM-as-a-judge 或传统分类器

Hacker News Top

Red Hat Developer 的一篇文章对 TypeSafe AI 的 Jev “System One” 决策模型与基于 LLM-as-a-judge 的护栏以及传统的零样本文本分类器进行了基准测试,结论是:尽管决策模型具备 schema 安全、低延迟和零样本等优势,但它们并没有明确优于这些既有的替代方案。

新的 system 1.5 模型在所有 4 个基线上都大幅超越 JEV,并且在图像 JEV 基准测试中排名第一(没错,它是多模态的)

Reddit r/artificial

新款模型 Wity-1 是一个推理决策模型,定位介于 Jev 这类非推理决策模型与完全推理的 LLM 之间。据称它在全部 4 项基准测试中击败了 Jev,并在 Image Jev Bench 上排名第一,同时支持多模态。它只进行"刚刚好"的推理——直到内部 LLM 概率表明答案已经得出。

多模态重排序是一个System One决策

Hugging Face Daily Papers

论文提出,多模态重排序可以被构建为一个由通用视觉-语言模型在单次前向传播中完成的System One单选问题,实验表明零样本的Qwen3.8-27B在多个检索基准上达到或超越了专门的有监督重排序模型。