temperature

一位开发者分享了在让分析交易图表的AI给出一致答案时学到的经验。修复方法包括将温度设置为0并在所有管道阶段使用固定种子，并强调确定性是一种信任特性，必须与基于真实数据的接地相结合。

Google 的 Gemini 模型正在弃用并忽略 temperature、top_p 和 top_k 参数，这可能是为了简化推理配置。

本文介绍了一种通过修改采样过程利用熵来改进大语言模型创意写作的技术，旨在减少生成文本中常见的“大语言模型风格”。

这篇推文探讨了统计力学与人工智能之间的关系，并引用了一篇论文，该论文提出了机器学习系统的热力学理论，引入了温度、熵和能量等概念，将训练过程视为相变。

推荐一篇关于现代LLM采样机制的深度指南，涵盖Temperature、Top-P、Mirostat等方法，对开发者提升输出质量有重要参考价值。

一篇关于知识蒸馏的教育性概述，涵盖其历史、核心概念（如softmax和温度）、类型、缩放定律以及包括DeepSeek-R1在内的实际示例。

一个行李箱机器人使用真实气体传感器，根据检测到的烟雾实时调整LLM采样器参数（temperature, top_p, top_k），导致机器人的说话变得更为不可预测且无重复。

本文重新审视了温度在大语言模型蒸馏中的作用，揭示出温度不对称地更有利于正向KL散度而非反向KL，使得简单的KL方法在较高温度下能够匹敌当前最先进的蒸馏方法。

提出CIST方法，在知识蒸馏中为教师和学生分配独立的样本自适应温度，生成一致性信息丰富的软标签，并放宽严格的logit尺度匹配。在视觉和语言任务上的实验表明，相比标准KD具有一致的改进。