标签
hearim是一个开源网关，通过利用普通本地LLM的概率分布，将其转化为兼容Jev的决策API，无需专门的微调模型。
本文介绍了如何使用开源LLMs和SGLang构建本地决策引擎，以实现对固定选项的高效评分和概率分布，而无需生成完整文本，与像Jev这样的系统相比。