@NFT_Chen: 太棒了！立即通过本地化决策引擎将任何LLM转换为Jev模型！LLM2Jev带来Jev的统一Ch…

X AI KOLs Timeline 工具
local-llm structured-decision open-source-ai sglang transformers jev-model decision-engine

摘要

LLM2Jev是一个开源工具，它将本地HuggingFace模型适配为使用Choice、Score和Noul框架执行结构化决策，提供仅预填充推理，并与Transformers和SGLang集成。

💥太棒了！立即通过本地化决策引擎将任何LLM转换为Jev模型！ LLM2Jev将Jev的统一Choice / Score / Noul框架带到您的本地设置：现成的HuggingFace因果模型，无需云调优，无需购买商业API。 关键亮点 🔹运行时定义的问题类型，直接获取带概率的类型化答案 🔹仅预填充，非自回归，输出稳定，适合批处理 🔹与Transformers / SGLang集成，非常适合私有数据和高并发 操作步骤 1️⃣git clone https://github.com/Yinsongxu/LLM2Jev.git… 2️⃣uv sync --extra sglang (或transformers) 3️⃣编写JevRequest：state + Choice / Score / Noul 4️⃣LLM2Jev(...).evaluate(request) 以获取概率结果 5️⃣用于服务，运行llm2jev-serve，访问/v1/systemone 仓库：https://github.com/Yinsongxu/LLM2Jev… #LLM2Jev #Jev #SystemOne #LocalLLM #StructuredDecision #OpenSourceAI #SGLang
查看原文
查看缓存全文

缓存时间: 2026/09/20 17:22

💥太棒了！立即将任何LLM转化为具备本地化决策引擎的Jev模型！LLM2Jev将Jev统一的Choice/Score/Noul框架引入你的本地环境：支持开箱即用的HuggingFace因果模型，无需云端微调，无需购买商业API。核心亮点 🔹运行时定义问题类型，直接获得带概率的类型化答案 🔹仅前缀填充，非自回归生成，输出稳定，非常适合批量处理 🔹可与Transformers/SGLang集成，完美适配隐私数据与高并发场景

操作步骤 1️⃣克隆仓库 git clone https://github.com/Yinsongxu/LLM2Jev.git 2️⃣同步依赖 uv sync --extra sglang（或transformers） 3️⃣编写JevRequest：状态 + Choice/Score/Noul 4️⃣调用 LLM2Jev(...).evaluate(request) 获取概率结果 5️⃣部署服务：运行 llm2jev-serve，访问 /v1/systemone

仓库地址：https://github.com/Yinsongxu/LLM2Jev… #LLM2Jev #Jev #SystemOne #本地LLM #结构化决策 #开源AI #SGLang

SuSu_酥酥👅 (@NFT_Chen)： 💥码住！用Codex秘密研发的视觉版Jev开源了！让你的AI看图秒识概率！ 不是让模型“看图说话”，而是：一张图只编码一次，直接对一组概率问题给出分布。

左边是红的概率？两物体同色的概率？同时为红的概率？ 换遮挡更少的图，还能看视觉证据变多后判断如何变化。

主要亮点 🔹共享编码打出约

相似文章

Typesafe的JEV模型作为LLM [P]

Reddit r/MachineLearning

描述了一个对话AI系统，该系统使用Typesafe的Jev非生成模型，通过并行分类和评分从预写回复中选择，提供了一种成本效益高且透明的替代生成式LLM的方案。

Jev / TypesafeAI 在 LLM 领域堪称革命性

Reddit r/ArtificialInteligence

Jev 是一种新型 AI 模型，它输出评分、选择或二元决策，因其在创意查询时的速度、经济性和准确性而备受赞誉，不同于传统的前沿模型。