Chinese-Jev:将系统一模型应用于中文任务
摘要
本文介绍了Chinese-Jev,一个旨在提高中文任务决策准确性和效率的系统一模型,通过领域特定的微调和一个新的基准测试CJ-Bench进行评估。
查看缓存全文
缓存时间: 2026/09/30 08:22
论文页面 - Chinese-Jev:将SystemOne模型应用于中文任务
来源:https://huggingface.co/papers/2609.36965
摘要
SystemOne模型(如Jev)为需要决策而非开放式回答的任务提供了生成式语言模型的高效替代方案。然而,现有的Jev模型在中文决策准确性上表现有限,限制了其在通用和专业场景中的实用性。本文介绍了Chinese-Jev,这是一个通过统一数据处理和训练流程解决该问题的SystemOne模型。我们的数据处理协议将异构的中文标注转换为候选选项的概率目标,实现了跨领域和问题格式的共享训练公式。为实现高效推理,Chinese-Jev采用轻量级仅编码器主干进行文本编码,并通过面向决策的训练学习评估候选答案。为解决预训练分布与下游中文场景的不匹配问题,我们首先在包含1000万样本的通用语料库上训练模型,然后针对医疗、法律和金融领域分别进行微调。为评估通用和特定领域中文设置中的决策准确性和校准性,我们引入了Chinese-Jev基准(CJ-Bench)。经过第一阶段预训练,Chinese-Jev在通用领域任务上的准确性超过闭源Jev模型1.24%,同时实现20.3倍的速度提升。随后的领域特定微调使模型在医疗领域相比Jev获得4.0%的准确性提升,并在专业领域达到Jev平均准确性的92%,同时实现17倍的速度提升,每个样本平均延迟仅为15毫秒。我们进一步展示了INT8量化模型在移动设备上的部署,每个决策的推理延迟约为1.0秒。项目地址:https://gulucaptain.github.io/Chinese-Jev/。
查看arXiv页面 (https://arxiv.org/abs/2609.36965)查看PDF (https://arxiv.org/pdf/2609.36965)项目页面 (https://gulucaptain.github.io/Chinese-Jev/)GitHub1 (https://github.com/gulucaptain/Chinese-Jev)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36965)
通过代理获取此论文:
hf papers read 2609.36965
没有最新CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型
0
暂无模型关联此论文
在模型的README.md中引用 arxiv.org/abs/2609.36965 即可从此页面链接。
引用此论文的数据集
0
暂无数据集关联此论文
在数据集的README.md中引用 arxiv.org/abs/2609.36965 即可从此页面链接。
引用此论文的Space
0
暂无Space关联此论文
在Space的README.md中引用 arxiv.org/abs/2609.36965 即可从此页面链接。
包含此论文的合集
0
暂无合集包含此论文
将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接。
相似文章
@LangChain:我们对 Jev 与 LLM 裁判在准确性、可重复性、延迟和成本方面进行了测试,以查看 System One 模型是否能够……
本文评估了来自 TypeSafe AI 的 System One 模型 Jev 作为一个新的代理评估器,显示它在一致性、速度和成本方面优于 LLM 裁判。
@svpino: Jev 太厉害了!如果你还不知道,Jev 是一个新的 "System One" 模型,针对决策进行了优化。例如…
Jev 是一个新的 AI 模型,针对分类任务中的快速且低成本决策进行了优化,通过一个使用 Apify 和 GPT-5-mini 的酒店评论分类器项目进行了演示。
SearchJev:一个快速且经过校准的搜索代理 System-1 模型
SearchJev 为搜索代理引入了一个快速且经过校准的 System-1 模型,它无需自回归生成即可为决策打分,并通过用于校准决策的软标签学习(SLCD)来降低延迟、提升置信度的可靠性。将 SearchJev 与 System-2 模型结合的双系统代理在 BrowseComp-Plus 上实现了最高 4.7 倍的加速,同时将答案准确率从 45% 提升至 54%。
Show HN: JevBench,一个用于类型化决策模型的可复现基准测试
JevBench v1.3.0 是一个用于Jev类决策模型的可复现基准测试,基于智能性、校准度、速度和成本对52个系统进行评估和排名。
Jev introduces a new shape of LLM - System One, aka Decision Models
Jev是由TypeSafe AI推出的一款新型AI模型,归类为System One或决策模型,其输出浮点数用于垃圾邮件检测、排名等分类任务,并具有竞争力的定价。