logprobs

本文描述了一个用于LLMs的Python封装，它利用令牌概率进行分类任务，并扩展到视觉模型，提供了一个实时网络摄像头帧分析的示例。

本文展示了如何使用任何GGUF模型与llama.cpp进行二元分类任务（如垃圾邮件检测），通过配置参数从logprobs中输出概率。

作者分享了使用自定义 WebUI 让 Gemma 和 Qwen 模型检查自己的 logprobs 来检测幻觉的实验。初步观察表明，首次回忆的 token 概率可以指示不确定性，尽管两个模型都难以读取自己的 logprobs。

用户发现OpenAI在其最新模型中隐藏了'logprobs'参数，限制了对概率信息的访问。

ServiceNow 工程师详细介绍了他们从 vLLM V0 迁移到 V1 的过程，重点解决了后端正确性问题，包括 logprob 语义和运行时默认值，以确保强化学习训练动态的稳定。