@NFT_Chen: 太棒了！立即通过本地化决策引擎将任何LLM转换为Jev模型！LLM2Jev带来Jev的统一Ch…
摘要
LLM2Jev是一个开源工具，它将本地HuggingFace模型适配为使用Choice、Score和Noul框架执行结构化决策，提供仅预填充推理，并与Transformers和SGLang集成。
查看缓存全文
缓存时间: 2026/09/20 17:22
💥太棒了！立即将任何LLM转化为具备本地化决策引擎的Jev模型！LLM2Jev将Jev统一的Choice/Score/Noul框架引入你的本地环境：支持开箱即用的HuggingFace因果模型，无需云端微调，无需购买商业API。核心亮点 🔹运行时定义问题类型，直接获得带概率的类型化答案 🔹仅前缀填充，非自回归生成，输出稳定，非常适合批量处理 🔹可与Transformers/SGLang集成，完美适配隐私数据与高并发场景
操作步骤
1️⃣克隆仓库 git clone https://github.com/Yinsongxu/LLM2Jev.git
2️⃣同步依赖 uv sync --extra sglang（或transformers）
3️⃣编写JevRequest：状态 + Choice/Score/Noul
4️⃣调用 LLM2Jev(...).evaluate(request) 获取概率结果
5️⃣部署服务：运行 llm2jev-serve，访问 /v1/systemone
仓库地址：https://github.com/Yinsongxu/LLM2Jev… #LLM2Jev #Jev #SystemOne #本地LLM #结构化决策 #开源AI #SGLang
SuSu_酥酥👅 (@NFT_Chen)： 💥码住！用Codex秘密研发的视觉版Jev开源了！让你的AI看图秒识概率！ 不是让模型“看图说话”，而是：一张图只编码一次，直接对一组概率问题给出分布。
左边是红的概率？两物体同色的概率？同时为红的概率？ 换遮挡更少的图，还能看视觉证据变多后判断如何变化。
主要亮点 🔹共享编码打出约
相似文章
LLM-as-Jev：LLM 本身就是 Jev 式决策模型——何时以及如何对其进行微调
论文提出了 LLM-as-Jev，一种保留原有架构的框架，可从 LLM 的下一词元概率中提取经过校准的决策分布，并表明现代 LLM 本身就是有效的 Jev 式决策模型：微调在较弱模型和特定任务上能带来针对性的提升，而 KL 锚定则可防止对话生成性能退化。
Jev 不是 LLM 杀手，也不仅仅是一个分类器。我们将其部署于生产环境并与真实用户一起使用。以下是我们学到的经验。
文章分享了使用 Jev（一个语义决策引擎）的生产见解，它通过与 LLMs 并行高效处理常规决策来增强 AI 代理系统，而不替代生成模型。
Typesafe的JEV模型作为LLM [P]
描述了一个对话AI系统，该系统使用Typesafe的Jev非生成模型，通过并行分类和评分从预写回复中选择，提供了一种成本效益高且透明的替代生成式LLM的方案。
@paarangatrai: 这是理解Jev的最简单方式：大语言模型生成答案。Jev做出决策。这听起来像是一个小小的区别……
这篇文章介绍了Jev，一个旨在做出决策而非生成答案的AI模型，使用结构化输出用于欺诈检测和风险评估等应用，将其定位为大型推理模型的路由层。
Jev / TypesafeAI 在 LLM 领域堪称革命性
Jev 是一种新型 AI 模型，它输出评分、选择或二元决策，因其在创意查询时的速度、经济性和准确性而备受赞誉，不同于传统的前沿模型。