OpenJev

# 在浏览器中运行 OpenJev 来源：https://openjev.com/ openjev (https://openjev.com/) 能否在浏览器中运行类似 Jev 的程序？GitHub 仓库 ↗ (https://github.com/TheoLeeCJ/openjev) 一个实时本地实验 ## 在浏览器中的决策模型 本地模型可以读取已允许选项的概率而不进行解码，也可以通过 token 生成相同类型的概率分布。选择一个模型大小，在自己的 GPU 上运行两种方式，并测量其差异。 仅浏览器 无后端 你的时间 1.56 GB 模型 **无需等待列表！** 直接试用 ↓ 默认选择 MiniCPM5 2B。在手机或较小设备上，如果需要，可在模型框中切换至 Qwen3 0.6B。 00 / 设置 ## 一次加载模型 模型 更大模型。加载可能更慢，或可能无法在某些低端设备上运行。 **模型性能** 越高越好 原生 BF16 · TypeSafe：相同的 102 行子集 · Jev：已发布结果 · 浏览器构建为量化版本 {{ text }} 下载 / 缓存**—** 仅在你点击加载时开始 模型加载**—**下载并准备 预热**—**为两种方法编译代码 权重来自 Hugging Face 并保留在你的浏览器缓存中。输入信息不会离开此页面。首次加载可能需要几分钟时间，具体取决于所选模型、网络和 GPU。 01 / 决策 ## 给它一个真正的选择 试一个例子 两种路径接收相同的决策。一个直接读取选项概率；另一个要求模型将其选项概率以 JSON 文本形式写出。 你的决策**状态 + 问题 + 选项** 相同的本地模型**MiniCPM5 · 2B** 读取 logits **A...T 概率** 写入 token ***\{**选项** + **概率**\}*** 02A / 直接读取 ## 选择概率 无解码 读取模型的选择 logits，并仅在你提供的选项上进行归一化。 等待运行 总计—输入—输出1 次读取 02B / 生成 ## JSON 概率 逐 token 生成 要求模型估算相同的显示选项分布，并将其写为 JSON。观察每个 token 的到来。 `` 等待运行 ``` 第一个 token—总计—输入—输出— 测量的墙上时间比率**在你的 GPU 上运行** 方法在同一加载的模型上顺序运行，因此它们不会争夺同一 GPU。先直接运行，然后生成。 这些数字的作用与局限性**条件概率。** 直接分数仅为显示选项 token 上的 softmax。它们不是校准后的置信度，也不包括模型可能偏好的所有答案。 **本地模型层级。** 手机模型在准确度和大小之间权衡。MiniCPM 是桌面端默认选项。4B 选项需要显著更多内存。没有一个声称能匹配 Jev。 **真实本地计时。** 设置、预热、提示准备、直接执行、首个生成 token 和生成完成均使用 `performance.now()` 计时。没有使用预先准备的结果。 **量化权重。** 本演示使用通过 wllama 固定的 GGUF 构建。量化可能同时改变质量和速度。