标签
Taco 提出一种跨平台 LLM 压缩方法,通过纯整数推理、精确的 float32 到整数转换与一致性测试向量,确保编码端与解码端在不同 GPU/CPU 硬件上产生完全相同的输出,并在 7 个后端上验证了哈希一致。
该论文研究了在医疗设备合规文档评估中使用大语言模型时的可复现性问题,发现14个商业LLM部署在确定性采样设置下仍产生不一致的评估结果,并构建了一个从OCR到推理全链路确定性的流水线,实现跨机器、跨天的逐字节一致输出。
本文将Gary Bernhardt的'Functional Core, Imperative Shell'架构扩展为'确定性核心,非确定性外壳',强调确定性而非纯函数式主义,以提高软件系统的测试性和适用性。
作者讨论了测试基于LLM的智能体管道时的挑战,其中相似的提示可能导致输出变化,提倡使用基于属性的检查而非精确匹配来处理非确定性输出。
A blog post discusses the need to complement brilliant but clumsy LLMs with deterministic tools and formal workflows, using the author's experience developing the Beagle SCM with Fable as an example.
使用230万条Claude推理轨迹数据蒸馏Qwen3-4B模型,得到100%输出一致性和极低幻觉的小模型,且学生模型未被教师模型限制,还收敛出一个普世真理。
本文讨论了使基于LLM的代理更具确定性的各种技术,例如黄金数据集、护栏、共识机制、回归测试、编码逻辑和超参数调优,并询问其他成功的方法。
本文研究了将LLM评委的温度设为0即可确保安全评估确定性的假设。研究发现,实际上许多评估框架未设置温度或随机种子,导致结果高度变异,且即使温度设为0,由于提供商层面的随机性和API更改,非确定性仍然存在。
这篇思辨性论文认为,图灵测试存在缺陷,人类和人工智能的智能都是确定性过程,真正的意识需要持久的记忆循环和内部对话,从而将人工智能视为从碳基到硅基的进化阶段转变。
本综述研究了金融AI系统中的计算非确定性,涵盖表格模型、图网络和基于LLM的工作流,并提出了一个用于可审计性的分层评估框架。
本文讨论了在智能体视频管道中将Gemini Omni的编辑模式用作确定性转换步骤,从而无需完全重新生成视频即可实现可复现的状态变化,提升成本效益和速度。
解释了Calvin协议,该协议使用确定性锁来实现分布式ACID事务,无需两阶段提交(2PC),相比传统方法提高了可扩展性并减少了争用。
The article analyzes Factorio's deterministic lockstep architecture, explaining how it synchronizes millions of entities by transmitting inputs rather than state snapshots, utilizing custom math libraries and PRNG normalization to ensure bitwise consistency across platforms.