大多数决策不需要文字。🤫⚡

认识一下 K2-Type-0.9B 🧠：一个开放的决策模型。输入一个状态 + 若干类型化的问题，输出经过校准的概率，只需一次前向推理。不生成任何文本。Apache-2.0 权重 👇 https://t.co/mdYvAt39bz

#OpenSource #LLM #AI https://t.co/zP0HoGX1P5

IFM/K2-Type-0.9B · Hugging Face

来源：https://huggingface.co/IFM/K2-Type-0.9B

一个 0.9B 的决策模型，风格沿袭 TypeSafe 的 Jev（基于 K2-Horizon-0.9B 骨干；存储 1.08B 参数，包含基础模型中未使用的语言模型头）。你输入一个 state（文本或 JSON）以及任意数量的类型化 questions，模型在一次前向推理中为每个问题的每个选项返回一个概率。它从不生成文本。

所有问题共享同一个状态，但彼此不可见（采用块因果注意力掩码），因此新增一个问题不会改变其他问题的答案。

基于 IFM/K2-Horizon-0.9B (https://huggingface.co/IFM/K2-Horizon-0.9B) 构建。

Results

JevBench 公开测试集

（231 个条目，jevbench (https://github.com/fstandhartinger/jevbench) 提交 26eb72d，针对本仓库 server 的 typesafe 适配器，单张 H200，无网络）：

总计 176 / 231 = 0.762

Brier 分数 0.328，ECE 0.065；单次决策延迟 p50 27 ms、p95 60 ms；每次决策平均输入 590 个 token。

作为参考，JevBench v1.4 榜单上的公开准确率：Gemma 4 E2B + LoRA（system-one-open）0.732，decider-2b 0.710，kev 0.6B 0.667，kev 4B 0.662，Qwen3.5-4B 各条目 0.74–0.82，Jev 1.13.0 0.866。JevBench 官方成绩还使用了保密条目，上述所有系统在那里的得分都远低于其公开准确率。

Snake：同一套权重可以从文本棋盘上玩 Snake（每步一个选择 + 四个是非题）：在 12x12 棋盘上平均每局吃掉 66 个食物（最高 101）。

Quickstart

pip install -U huggingface_hub
hf download IFM/K2-Type-0.9B --local-dir K2-Type-0.9B && cd K2-Type-0.9B
pip install -r requirements.txt
python -m jev.serve --run . --port 8000  # 从本仓库根目录运行；需要一张 CUDA GPU

启动后的第一个请求需要几秒钟（CUDA 预热）；后续请求耗时约 20–60 ms。

curl -s localhost:8000/v1/systemone -H 'Content-Type: application/json' -d '{
  "state": {"subject": "Charged twice", "body": "You billed my card twice for March. Refund one or I cancel."},
  "questions": {
    "queue": {
      "type": "choice",
      "instructions": "Which queue handles this?",
      "criteria": {
        "billing": "Payments and refunds",
        "technical": "Bugs and login",
        "general": "Anything else"
      }
    },
    "angry": {
      "type": "noul",
      "instructions": "The customer sounds angry."
    },
    "urgency": {
      "type": "score",
      "instructions": "How urgent is it?",
      "criteria": ["Low", "Normal", "High", "Critical"]
    }
  }
}'

请求和响应遵循 TypeSafe 的 /v1/systemone 线上格式，因此为 Jev 或 Kev 编写的客户端可以原样使用。GET /health 返回模型名称和温度。

本仓库包含权重以及服务这些权重所需的最小代码（jev/：输入编码、指针头和 HTTP 服务）。训练代码和数据目前不公开。需要 transformers >= 5.17（remote code）；已在 torch 2.8 上测试。

不要用该骨干做文本生成：其权重是为决策头训练的，语言模型头仅沿用自基础模型。请使用 jev/ 中的服务。

How it works

• 输入布局：... | question option ... | ...，使用基础 tokenizer 的五个保留 token（见 decision_config.json）。
• 指针头（pointer_head.safetensors）：将每个选项的 hidden state 与问题的 hidden state 进行打分；温度为 1.478 的 softmax 生成概率。
• 训练简述：在约 354k 条决策记录上进行全参数微调（公开的分类/NLI/QA 数据集、Kev 的决策数据、带有精确或搜索标签的游戏局面，以及由大模型编写并经盲审验证的合成决策条目），目标与来自 7B 教师决策模型的软标签混合；随后在 Snake 上进行 50 轮 PPO 训练；最后在保留的校准数据上重新拟合温度。训练数据已对照 Kev 的全部评测集和 JevBench 的 231 个公开条目做过检查：无精确重复或包含重叠。

Limits

• 单次推理、无推理过程：多步算术、日期差值和超长文档（> 8192 token）表现较弱。
• 校准是在 Kev 的校准集上拟合的；在其他分布下概率可能过于自信或不够自信（JevBench 公开集 ECE 0.065）。
• 答案受限于你提供的选项；除非你提供“以上都不是“这个选项，否则它无法这样作答。