optimization

Transformers 与 ggml_org 合作，将 GGML 内核集成到 transformers 库中，使 GGUF 文件加载的性能水平与 llama.cpp 相当。

在 Gergely Orosz 分享的一次讨论中，Casey Muratori 强调了学习汇编语言对软件优化的重要性。

本文将混合专家模型中的推测解码问题表述为随机最短路径问题，并使用一个诊断Oracle来证明最优决策遵循平衡成本与进展的必要条件。

本文介绍了一种分层贝叶斯优化框架，用于优化机载多智能体系统体系，并应用于森林灭火，以提高在复杂设计空间中的搜索效率和鲁棒性。

ZoAQ 提出了一种自适应零阶优化方法，通过重用过去的查询来减少评估次数，在合成任务中节省了43-48%的查询，并在黑盒攻击中实现了高成功率。

该研究提出了一种感知相关性的结构化剪枝方法，通过显式建模跨单元依赖性来优化剪枝决策，从而在大型语言模型中实现精度与效率的优异权衡。

在本地 Qwen 模型的提示中切换问题与上下文的顺序，使决策基准测试的准确率从 89% 提升至 100%，延迟从约 400 毫秒降至约 80 毫秒。

本文提出PainNAS，一种基于块的神经架构搜索方法，能在留一受试者评估中有效降低自动化疼痛评估系统的计算复杂性。

本文介绍了Stiefel-AdamW，一种用于深度学习中线性分解模块的几何感知优化器，它增强了稳定性和性能，并在GPT2、ViT和Mistral 7B等模型上得到验证。

这篇文章解释了神经网络中反向传播算法为何以反向传递实现，并阐明了其相比基于链式法则的前向计算的效率优势。

一项实验显示，一个量化的Qwen 3.8 27B模型在单个RTX 3090 GPU上本地运行，自主优化CUDA推理超过三周，生成了功能性的内核和基准测试，同时保持了连贯的长期目标跟踪。

laya.cpp 是一个优化的 C++ 实现，用于近即时决策，基于 ggml 构建并带有自定义 CUDA 内核，展示了在 Laya 模型上相比 Python 的显著速度提升。

本文介绍了由 Astra 提出的使用图着色解决数独谜题的技术。

本文介绍了TypeSafe开发的决策模型Jev，它与Hermes集成，能够为AI智能体快速且低成本地处理小规模的非推理决策，从而优化成本与性能。

Jev为AI Agents引入了实时压缩技术，它对每个工具调用进行评分，以保留重要内容并直接删除无关数据，消除了基于模型的摘要需求，使上下文压缩更快、更轻量。

文章介绍了如何利用ARM处理器上的SVE2 SIMD指令，通过字符匹配指令来优化simdjson库中的JSON解析，从而实现更快的性能。

这条推文解释了核心人工智能操作如注意力和卷积是如何基于线性代数和概率等基础数学的，强调了理解这些操作而非模型名称的价值。

这个Twitter线程介绍了Hugging Face的Kernels，这是一个工具，允许用户选择和替换AI模型中支持层的优化内核实现，而无需重写整个模型。

本文介绍了一项多小时的调查，旨在使用llama.cpp加速Qwen MoE模型的本地推理，包括实验结果、补丁、基准测试和复现指南，其中一些工作负载显示出显著的性能提升。

本文特征化了基于LLM的AI代理在诸如问答和编码等任务中的资源与性能动态，揭示了瓶颈并提出了可将延迟改善高达5.4倍的优化方案。