batching

BatchDAG提出了一种系统，其中LLM生成具有类型的操作有向无环图，用于对企业数据进行可扩展的即席分析，实现了LLM调用次数减少高达47倍，并在超过50,000场会议中实现低于60秒的查询时间。

本文档介绍了 hijax 类型，这是 JAX 的一项新功能，允许定义具有自身不变量、切线类型、批处理和分片行为的自定义类型，并通过量化数组的示例进行说明。

本文解释了批处理和并行操作如何改善AI计算机使用系统中的延迟和效率，重点介绍了pi-computer-use和cua-driver等开源实现，它们在Codex出现类似功能之前就取得了显著的性能提升。

一篇详细阐述LLM推理关键概念的推文：注意力机制、KV缓存、分块预填充以及批处理技术，包括vLLM和SGLang中使用的连续批处理。

一本正在编写中的开放手册，解释LLM推理内部机制，包括GPU内存层次结构、KV缓存、批处理以及vLLM和TensorRT-LLM等流行推理引擎。

将温度设置为0并不能保证智能体中的工具调用具有确定性，原因在于批处理推理会导致浮点数归约顺序发生变化，从而引发token翻转，并在负载下产生不同的动作。

LangChain和Harvey的一项研究探索了通过分批标准评估和使用开源模型来降低验证法律代理输出成本的方法，实现了数量级的成本节约，同时保持了接近前沿的性能。

GreptimeDB v1.0引入了Pending Rows Batcher，这是一个三阶段流水线，将CPU密集型工作从Datanode的关键路径上移开，使Prometheus远程写入吞吐量从120万提升到217万points/sec，并将Datanode的CPU使用率降低20%。

本文分析了混合批处理与独占批处理在LLM推理中的权衡，表明最优选择取决于GPU内存带宽。提出了一种基于阈值的混合调度器，可在两种方法间动态切换，在带宽受限的GPU上实现高达41.9%的吞吐量提升。

演示了在MacBook Pro M5上使用Codex CLI和LM Studio（搭载Qwen 3.6，并利用MLX批处理功能）本地运行子代理以进行代码审查和漏洞检测。

LM Studio 宣布其 MLX 引擎的 Beta 更新，引入了视觉模型的批处理功能和改进的缓存，以加速推理。