optimization

vLLM v0.28.0 是用于快速高效 LLM 推理和服务的开源库的更新版本，具有 PagedAttention 等增强功能和广泛的硬件支持。

作者发布了兼容主线的Qwen3.8-Flash-Next模型的imatrix量化版本，提供比竞品小20-30GB的体积，同时保持竞争力的PPL，并为AMD硬件提供了单独的ROCm构建。

有人优化了 Minimax H3 Max AI 模型，使其运行速度快于实时，创建了一个 Rick and Morty 风格的跨维度有线电视流，但该流经常被下架。

本文介绍了Hy4预览模型的官方1位量化构建版本，提供尺寸减小的GGUF文件，以及在修改后的llama.cpp上运行的说明。

一个社交媒体帖子，列出了2026年硬件配置下的顶级AI模型，例如适用于8GB设置的lfm-2.6B和适用于高端设备的Ornith模型。

本文探讨了改善人类与大型语言模型之间的协调是否能够在不修改模型本身的情况下减少令牌成本。

作者创建了一个名为cats.txt的讽刺标准，用以批判GEO中支持llms.txt的薄弱证据，显示其通过了类似当前实践中的有缺陷测试。

作者详细介绍了将scheme-rs Scheme实现转换为基于CPS的JIT编译器，并应用三项优化（包括β归约），以实现25倍的性能提升。

本文提出了一种针对小型大型语言模型量化的一体化度量标准，通过结合信息保留和吞吐量增益来平衡速度和质量，并在如Gemma 3 1B等模型上进行了评估。

本文证明，在联邦学习的随机SCAFFOLD中，客户端平均抑制了主导的平稳偏差，但由于控制波动和非二次曲率，留下了一个与客户端无关的二阶偏差分量。

本文提出了一种方法，通过利用多播技术和在线FPGA，以及同步调度的优化框架，来增强广域网上的分布式训练，以最大化信息交换并减少性能差距。

本文分析了Muon优化器中的有限Newton-Schulz迭代如何通过平滑极映射使非光滑非凸优化受益，提供了匹配最佳已知界限的收敛保证。

介绍HarnessOpt-Bench以测量AI中的递归自我改进，评估了5个前沿模型在4项任务上的表现，发现模型选择比编程工具选择的影响更大。

Engrams 是一种架构创新，它使用 N-gram 表来从 transformer 模型中卸载记忆，通过释放参数用于计算，让较小模型能更好地推理。

本文综述了200项关于大语言模型量化的工作，形式化了“大逆转”原则，该原则对比了编码中的能量集中与量化中的组内平坦化，并基于部署方案与MXFP4、NVFP4等格式提供了线性变换选择指南。

本文介绍了一种AI增强的RF干扰抑制方法，该方法使用带有有限标量量化分词器的Transformer模型，以提升性能并最小化延迟，并通过数字信号场景中的音频指标进行验证。

本文通过识别三个关键因素——角色、半径和空间——来解决在无导数优化中使用神经网络的矛盾，这些因素决定了学习到的局部模型何时能在仿真优化中提升性能。

AutoVerifier 引入了一种残差引导的非参数优化方法，用于学习和应用答案验证中的偏差，从而提高了超越最先进验证器的准确性。

成功在双RTX 4090 96GB显存上运行了111GB的Qwen3.8-Flash-Next GGUF模型，通过PLE和稀疏注意力优化实现了66 tokens/s的生成速度，并详细说明了量化和运行配置。

本文介绍了一种方法，通过HTTP Accept头直接向AI代理提供Markdown内容，从而减少token使用、提高检索效率并降低AI处理延迟。