标签
Φ-Bench是一个基准测试,旨在评估大型语言模型在工程设计和优化LLM基础设施栈方面的能力,覆盖从内核优化到端到端系统设计的任务。
文章详细介绍了 FlashAttention-4 的优化技术,包括用于解码的 S/P 乒乓方法以重叠操作,在 NVIDIA Blackwell GPU 上实现了高达 16% 的性能提升。
Atlas模型经过密集的推理优化后,现在可以实时运行,使得在B200和MI355X硬件上的世界生成和导航更加互动。
本文解释了Python的dict和set数据结构通常被认为是O(1)的,但在涉及哈希冲突和内存层次结构效应的场景中,可能表现出二次方时间性能。
这篇文章建议为电子表格AI代理设置响应预算,以确保高效和完整的数据检索,专注于限制输出并允许上下文跟进。
本文展示了可在浏览器中运行的247字节版本的JavaScript扫雷游戏实现,详细介绍了为达成如此极小代码量所采用的编程技巧。
本文讨论了在Strix Halo硬件上优化性能的官方llama.cpp替代方案,其中特定分支在AI推理任务中实现了显著更高的吞吐量。
这篇文章推荐使用 GPT-6 Astra,通过将任务分解为步骤,首先用中等设置复现一个演示,然后使用最大设置优化结果,利用子代理提高效率。
Unsloth AI 宣布对 GLM-5.3-Flash 进行优化,实现1.6–3.4倍更快的本地 GGUF 推理,支持多令牌预测和运行本地模型的硬件要求。
LeanGRPO通过引入无重计算的训练计划,消除扩散强化学习方法中的冗余重计算,在保持优化目标的同时实现高达1.83倍的速度提升。
该论文提出了一种名为 Tail-Likelihood Reinforcement Learning (TailRL) 的优化方法,该方法专注于奖励分布的上尾部分,以改善生成任务中的策略性能,并在多种应用中进行了演示。
本文提出了一种图约束的代理AI框架,利用大型语言模型适应零售供应链运营的不断变化需求,并在与零售合作伙伴的评估中显示,与直接LLM重构相比,提高了正确性和端到端成功率。
文章指出,在viewport meta标签中,`initial-scale=1.0`参数对于现代浏览器来说是多余的,可以省略以减小HTML文件大小。
FlashKAN提出了一种加速柯尔莫哥洛夫-阿诺德网络(KANs)的方法,通过将Cox-de Boor递归替换为截断幂形式来评估B样条,提供了融合的GPU实现和一个开源包。
介绍了信念校准优化(BCO),这是一种通过显式跟踪和修正对编辑环境响应的信念来维护持久世界模型以提高LLM智能体性能的方法。
TaRA是一种针对低秩适应(LoRA)的训练感知初始化方法,它提高了梯度保真度,从而在各种任务中提升了大型语言模型的微调性能。
QTEA是一种面向大语言模型的亚2比特训练后量化框架,通过稀疏残差显著权重与按列优化,实现了三值权重压缩,并提升了准确率与硬件效率。
本文提出REAL-Q,一种新颖的端到端对齐训练后量化方法,用于大语言模型,该方法利用动态梯度下降来减轻量化误差,在KL散度降低方面相较于最先进方法实现了显著改进。