标签
此 PR 在 Vulkan 后端中融合了 qwen4exp 模型的操作链，以优化 llama.cpp 的推理性能。
本文介绍EoupCT，一种通过估计并正交化未知预训练梯度来缓解大型语言模型持续微调中灾难性遗忘的新颖框架。
作者提议通过剥离不必要的代码并使用AI自动化过程来为特定模型优化llama.cpp，目标是实现2倍以上的性能提升。
FurE是一种基于发束的高效方法，用于从多视角图像重建3D动物毛发，它利用从人类毛发数据学习的PCA解码器来克服数据集稀缺问题，并实现比现有方法快10倍的加速。
AI代理，主要使用Opus 5.5，通过重写推理引擎，仅用三天时间就将Mac上27B模型的推理速度从66令牌/秒显著加速至580令牌/秒。
本文演示如何使用谷歌的OR-Tools CP-SAT约束满足求解器解决一个实体玉米拼图，并突出了其相较于朴素回溯方法的高效性。
MoEspresso 3 是一个推理引擎，在配备32GB RAM的2021款M1 Max上，为Qwen3.8-Flash-Next模型实现了每秒12-15个解码token的速度。它采用Cache-Prior等技术优化性能，并在基准测试中超越了部分托管解决方案。
这条推文讨论了何时以及如何微调一个专门的分类器模型，该模型比Opus更好，比Jev更快，并且能在用户设备上运行。
本文阐述了在Block Game中采用软件遮挡剔除技术的实现方法，用于优化弱硬件环境下的渲染性能，并取得了显著的区块剔除效果与帧率提升。
KernelZero提出了一种协同进化框架，利用Proposer和Coder模型提升GPU内核生成能力，在CUDA和Triton基准测试中表现出色。
一位用户构建了一个名为Strata的开源推理引擎，用于优化Qwen3.8-Flash-Next在普通硬件上的运行，将速度从最初的15 tok/s提升到了最高65.1 tok/s。
作者介绍了一门关于大模型推理优化的学习路径，涵盖KV缓存、连续批处理、分页注意力机制等核心议题，并对vLLM与SGLang展开对比分析，突出了该领域在AI部署中的前沿技术地位。
本文提出了一种强化学习代理，用于生成平面区域的可证明最优四边形块分解，展示了在可用性和最优性方面优于现有工具如Gmsh的性能。
一个团队宣布他们在NVIDIA的SOL-ExecBench基准测试中所有赛道均获得第一名，使用B200 GPU的真实生产内核击败了583个团队。
ThinkingCap 是基于 Qwen 3.6 27B 的微调模型，它将推理标记减少了约50%，同时保持性能，从而在推理中带来显著的效率提升。
本文提出一种用于欧洲市场人工智能支持的电力交易的正式功能架构，整合监管合规和运营约束。
一个名为collabosm的GitHub仓库提供了一个优化设置，用于在Google Colab A100上运行Qwen3.8-Flash-Next模型，实现了比商业API更快的推理速度，并附有详细的性能指标和说明。