@MaximeRivest：如果你付费让 LLM 进行推理（几乎总是如此），就应该保存每一次成功的运行；因为它本身就是……
摘要
Maxime Rivest 认为，任何一次付费的 LLM 推理成功运行都应该被保存下来，因为它本身就是一份有价值的数据集；Gal Elmalah 也表达了类似观点，认为数据是一种未来资产。
查看缓存全文
缓存时间: 2026/10/20 07:36
如果你付费让 LLM 进行推理（基本上你一直都在这样做），那么每一次成功的运行结果都应该保存下来——按定义来说，这就是一份对你有价值的示例数据集。
Gal Elmalah (@GalElmalah): 这太酷了！我得开始把我的数据视为未来的资产。
相似文章
@h100envy: 前vLLM核心贡献者用34分钟解释如何将LLM推理成本降低10倍——比$3000的推理优化训练营更有效
一位前vLLM核心贡献者解释了如何通过LMCache将KV缓存卸载到CPU/SSD/远程存储，从而使LLM推理成本降低10倍，这一技术已被彭博等生产环境采用。
您的LLM推理基准测试在误导您
本文解释了为何LLM推理的合成基准测试可能具有误导性，因为生产流量具有突发性和可变性，并建议使用真实工作负载进行测试以选择正确的推理框架。
@smolix: Here's part 1 (of 5) of my short course on efficient LLM inference that I taught at Columbia University. Slides are hea…
Part 1 of a 5-part short course on efficient LLM inference taught at Columbia University. Covers hardware bottlenecks, GPU memory bandwidth limits, and techniques like model compression and KV cache optimization to reduce inference cost.
@divaagurlxw: 我花了几个月时间学习 LLM 推理。以下是我遇到过的最佳资源。1. 基础……
一条推文串分享了一份精心挑选的 LLM 推理学习资源清单，涵盖分词、GPU 硬件、量化与推测解码等优化技术，以及 vLLM 和 SGLang 等推理引擎，并附有 NVIDIA 架构师演讲的总结。
@neural_avb: 如果你仔细想想，2026年的LLM训练其实是一个三步循环：- 用一些数据训练 - 内部测试/运行分类评估…
这条推文概述了2026年LLM训练的三步循环：用数据训练、运行评估、为表现不佳的任务添加合成数据。它强调了通过开源模型和廉价API进行合法蒸馏的易得性，并指出仅凭推理轨迹训练就能获得高分。