Jev 的开源替代工具

Reddit r/artificial 工具

摘要

jevos 是一款开源工具,能在笔记本电脑 CPU 上通过一次前向传播处理带是/否问题的文本,并提供了与 Jev 和 Lay 的性能基准对比。

我构建了 jevos:输入文本和一个是/否问题。仅需一次前向传播,无需生成文本。• 可在笔记本电脑 CPU 上运行:每次请求耗时 54 毫秒。• 在 2,000 个关于未见过规则的是/否问题测试中:Jev 得分 0.927,jevos 得分 0.815,Lay 得分 0.489。https://github.com/feder-cr/jev
查看原文

相似文章

SelfJev

Product Hunt

SelfJev 是一个可自行部署的开源 4B 决策模型,支持对任意文本提出有类型的提问(是/否、单选、多选、评分),并给出经过校准的概率;同时通过 TypeSafe 的 SDK 实现 Jev 兼容,并可用自有数据进行微调。

Jev vs. Kev:开源Jev替代方案并排测试

Reddit r/LocalLLaMA

本文比较了TypeSafe的Jev模型与开源Kev替代方案,在一个新的数据集上测试了它们的准确性、令牌使用量和速度,以避免数据泄漏,发现性能相似,但实现上有差异。

Laya: Jev 的开源版本

Hacker News Top

Laya 是一个开源的快速多语言决策引擎,为结构化模式提供非自回归、校准概率,声称比 Jev 快 6-8 倍,并且完全开放。

JevGPT

Product Hunt

JevGPT 是一款基于 TypeSafe 的 Jev 模型构建的聊天应用。Jev 是一款专为决策而非文本生成而设计的模型,其每条回复都是通过多项选择逐词构建而成。它是一款开源项目,被视为一次有趣但并不完美的实验。

OpenJev

Hacker News Top

OpenJev是一款基于浏览器的工具,允许用户在本地运行AI模型,并比较不同的推理方法,例如直接读取logits与在JSON格式中生成tokens的对比。