ej
摘要
ej 是一个仅 11.4MB 的本地模型,专为运行时定义选项的类型化决策设计,可在 CPU 上单次前向推理输出概率分布,涵盖选择、是非与有序评分任务,并附带训练、评估与基准测试工具链。
查看缓存全文
缓存时间: 2026/10/10 08:32
相似文章
Microsoft-Decision-1
Microsoft 推出 Decision-1 决策打分模型,用于代理与工作流的路由、分类、验证和控制,单次推理即可输出各选项的校准概率。该模型基于 Qwen3.5-9B 后训练,据称中位延迟比 GPT-6 Sol 快约 35 倍,现已在 Microsoft Foundry 上线。
@Michaelzsguo: https://x.com/Michaelzsguo/status/2053217839729791221
本文是一份本地大模型部署指南,涵盖硬件选择、内存计算、Runtime 工具对比及模型量化选择,帮助用户从入门到优化本地推理体验。
@yibie: https://x.com/yibie/status/2104076142500069608
本文展示了如何将GLM-5.3-Flash转换为Jev式的System One决策模型,通过单次前向传播实现类型化决策,基准测试显示其在准确性和速度上与专用模型相当。
vllm-sr/d3
vllm-sr/d3 是 Decision 3.0 的 27B 多模态基础决策模型,支持文本、JSON、图像与视频输入,可在一次调用中完成选择、是非与评分决策并输出概率,无需生成文本。它在 Jev Decision Index 上以 66.3 排名官方文本榜第一,较 Decision 2.0 提升 10.4,并在 AMD MI325X 上实现 27 req/s 的服务性能。
[P] 根据 logits 为每个允许的标签评分的 Pecision 模型:Jebadiah v2.1(27B、9B),开放权重及自行运行的基准测试结果 [P]
作者发布了 Jebadiah v2.1(27B 和 9B)开源模型,将决策建模为封闭集评分问题,直接根据候选标签的 logits 输出各选项的概率,并公布了在 Decision Index 0.3 上的自测成绩、污染检查和量化一致性结果。