标签
这篇论文介绍了一种“类型化决策”的系统 1 接口:通过一次前向传播,直接从模型的 logits 或小型分类头输出固定选项的概率,用于替代昂贵的前沿大语言模型评判器。作者部署了一个自托管的秩为 16 的 LoRA 评判器,对 14.8 万条智能体编码会话记录进行分流,成本仅为前沿模型评判器的约 1%;并在 JevBench 上使用 350 亿参数的开源模型达到 79.3%,与商业参考系统(73.0%)无显著差异。
微软宣布推出新型决策模型 Microsoft-Decision-1,专为快速决策任务设计,在结构化决策任务上于延迟和质量方面超越 LLM 及其他决策模型,目前已在事件响应、质量控制和科学发现等内部场景中测试。
Phocinae-Largha-150M-v1 是一个拥有 144.3M 参数的决策模型(基于 mmBERT-small),可接受结构化状态以及类型化的是非题/选择题/评分题,只需一次前向推理即可输出带置信度的校准答案;在自建的英文评测集上达到 0.906 的准确率,GPU fp16 下延迟低至 21ms。
awesome-jev 的定期巡检新增 3 条条目(555 → 558):llama.cpp 新增 System One 决策模型运行时支持、Databricks 推出 ai_decide AI Function 作为结构化决策 API,以及一个基于 Jev 官方文档的实际 RAG 测试案例。
上海AI实验室发布了Intern Decision,这是一系列基于Qwen3.5、采用Apache 2.0许可的小型多模态模型(0.8B、2B、4B),专为结构化决策场景设计。
SelfJev 是一个可自行部署的开源 4B 决策模型,支持对任意文本提出有类型的提问(是/否、单选、多选、评分),并给出经过校准的概率;同时通过 TypeSafe 的 SDK 实现 Jev 兼容,并可用自有数据进行微调。
本文介绍如何使用Jev(一个结构化决策模型)作为高效的评判器来评估AI智能体的响应,与传统的LLM评判器相比,可降低延迟和成本。
Jev,一个来自TypeSafe AI的概率决策模型,已成为Vercel的AI Gateway历史上采用速度最快的模型,为软件应用中的结构化决策提供了显著的速度和成本优势。