标签
Auto-GPU-Kernel 版本 1.0 已发布,这是一个自主的 GPU 内核生成和优化工具,在 MLSys 2026 FlashInfer AI Kernel Generation Contest 中排名第一,平均加速比为 34.93 倍。
Windowed A-K-MDP算法通过生成窗口内的可行分区来改进用于保护的MDP状态抽象,在33个测试案例中的25个中,与二分搜索方法相比减少了决策损失。
本文介绍了一个针对NVIDIA Ampere架构GPU(如3090)优化的llama.cpp自定义分支,能够在大上下文窗口下为27B参数模型实现每秒超过90个令牌的速度,使得本地推理速度快于API速度。
一条推文解释了 Flash attention 背后的优化原则,重点是最小化数据移动和最大化片上内存复用,背景是语言建模课程讲座。
PostgreSQL 在查询规划期间会对所有索引加锁,当索引数量较多时,这可能导致 CPU 争用,而使用预处理语句可以缓解这一问题。
UkisAI 对 Qwen 3.8 27B 模型进行了后训练,以减少不必要的思考令牌,从而在准确率损失不到1%的情况下,实现思考量降低58%和速度提升1.95倍,模型已开源并提供免费的研究API。
本文证明了在平滑性和有界梯度噪声假设下,带裁剪和加性噪声的随机梯度下降(包括动量变体)几乎必然收敛,为凸和非凸环境中的稳定训练提供了理论基础。
shi3z分享在不支持FP4的A100 GPU上运行DeepSeek v4.1 Flash的优化经验,将推理速度从33 tok/s提升至673 tok/s,超过官方API速度。
文章表达了对未来AI模型的期望,这些模型采用KVCache和Engram等优化技术来减少内存使用,使得更大的模型能够在显存有限的消费级GPU上运行。
本文介绍了 COBRA-Skills,这是一种利用上下文赌博机高效优化代理技能的方法,通过避免重复的基于 LLM 的轨迹分析和技能重写来降低成本。
本文解释 C++ 中的惰性初始化,通过将计算推迟到必要时来优化性能,使用辅助结构体来利用 std::optional 中的转换运算符。
本文反思了本地LLM社区中的硬件短缺如何推动实践优化和学习,唤起早期互联网时代的感觉,与当今容易分心的主流文化形成对比。
文章解释了Rust中的`clippy::nonstandard_macro_braces` lint如何被3133X优化,重点在于通过解决编译过程中宏展开的低效问题来提高性能。
NVIDIA 使用 Palantir Foundry 和 cuOpt 自动化供应链分配决策,并在非结构化运营数据上训练 Nemotron 3.5 Lightning 以提高决策准确性。
OpenAI的官方团队为GPT-6 Astra发布了一个重大更新,提供了诸如AGENTS.md等设置的最佳实践,以优化令牌使用和效率。
本文提出了一种用于树结构强化学习的信念偏移分支方法,以增强步骤级信用分配,并在数学和编程基准测试中展示了性能提升。
一个多智能体框架能够自动化地从自然语言描述生成QUBO公式,并在新提出的QUBOBench基准测试中达到68%的准确率。
uv 的 ZIP 解压已通过将其移至带有同步文件系统操作的单个阻塞任务中得到优化,灵感来自 Bun 的代码,从而加快了从 PyPI 安装 Jupyter 等包的速度。