hearim(헤아림): 也许你不需要为Jev使用特殊模型 — 普通的本地LLM已经具备这种能力

如果你不需要新模型就能获得Jev风格的决策，会怎样？我构建了hearim(헤아림. 发音为hea-a-rim. 不是‘Here, I am’…哈哈)，一个开源网关，可以将普通的本地或托管LLM转化为兼容Jev的决策API。给它一些数据和一组选择，它就会返回一个带有概率的决策——使用你已经可以通过llama.cpp、vLLM、SGLang、Ollama或OpenAI兼容服务器运行的模型。无需任务特定的微调模型。无需自定义决策模型权重。无需解析生成的JSON并期望模型遵循模式。只使用预填充（带前缀缓存）+ 只解码1个令牌（带logit）。这消除了大部分时间延迟，且无需生成文本。 基本思路是，预训练的语言模型在指令微调或RLHF教它聊天之前，已经学到了很多。如果你只需要它在明确定义的替代方案之间选择，那么它的概率分布中可能已经包含了大部分这种能力。模型可能已经知道答案。我们只需要停止要求它写一篇文章。 hearim将决策转化为一组受限的替代方案，读取模型对这些方案的概率，并通过Jev的Choice、Score和Noul API格式返回结果。我在Jev宣布之前，已经在单独的实现中使用了这个底层技术一年多。hearim本身是一个新的、独立的重新实现，专门围绕Jev API契约构建。我并不声称它复制了Jev的架构、训练、校准、速度或性能。有趣的主张更窄：一个有用的Jev风格接口不一定需要专门的Jev风格模型。 实现、支持的后端、限制、基准测试和技术细节在此：GitHub: https://github.com/ziozzang/hearim Paper: https://github.com/ziozzang/hearim/blob/main/paper/paper.pdf 我很想看到人们尝试用不同的本地模型——特别是较小的基础模型，而不仅仅是指令微调模型——会发生什么。模型可能已经知道答案。我们只需要停止要求它写一篇文章。