标签
该论文精确计算了语言模型在被要求随机选数时对每个整数的完整概率分布，发现指令调谐使分布更不均匀：安装了避免轮数的启发式并强化了避免端点值的倾向，但未产生跨模型共享的偏好整数。
hearim是一个开源网关，通过利用普通本地LLM的概率分布，将其转化为兼容Jev的决策API，无需专门的微调模型。
本文介绍了如何使用开源LLMs和SGLang构建本地决策引擎，以实现对固定选项的高效评分和概率分布，而无需生成完整文本，与像Jev这样的系统相比。