标签
橘子（Leo Feng）分享他在 AI 时代做 GEO 的第一步：先把个人网站做好，让每个 AI 都能认识自己，顺便和群友们交换友情链接，玩起「web2.0 时代的 GEO 版」。
Intel 与 AMD 联合宣布，双方将通过 oneDNN 就 PyTorch 的 x86 CPU 软件优化展开合作，AMD 将其 ZenDNN 的改进贡献到上游项目，并以指导成员身份加入 UXL 基金会。
本文分享了《How to scale your model》一书中关于推理的专门章节，涵盖了Transformer模型的关键优化技术，如KV缓存和延迟分析。
Splash 1.1.0 已发布，支持 GGUF 量化、MLX 导入以及针对 Apple Silicon 优化的内核，从而实现高速高效的本地 AI 推理。
PrismQuant引入了一种量化感知旋转框架，将激活特征空间与分组INT4量化器对齐，在Llama和Qwen等大语言模型上实现了最先进的性能，并显著提升了推理速度。
一位用户分享了在本地硬件上用 Qwen 3.8 Next 替换 Claude AI 的经验，讨论了性能以及优化其他模型如 DeepSeek V4 和 GLM Flash 的计划。
本文介绍了如何在 Splash 中使用 'make tune-kernels' 工具来优化40核 M5 Max 芯片上的 AI 模型解码，通过为特定硬件调优内核布局，实现高达20%的速度提升。
Mara Chain 提出了一种全新的 AI 系统自动进化框架，其核心思路是保留被淘汰的候选方案及其失败分析信息，用于迭代优化，而非像传统方法那样直接丢弃。在 AppWorld、TerminalBench 2.1 和 MuSiQue 等基准测试中，该框架以更少的 rollout 预算显著超越了 GEPA、AHE 等先前的优化器，并在 GLM-5、DeepSeek、Qwen 等多种骨干模型上验证了其通用性与跨模型适用性。
这条推文认为，AI优化现有信息化，但人类经济活动将转向增量信息化以追求边际收益，而像公司这样的组织形式将继续存在。
DPara是一个并行推测解码框架，通过预计算草稿表示来消除概率性回退，在Qwen3模型上相比自回归解码实现了平均3.21倍到3.52倍的速度提升。
该推文讨论了提供商如何在发布后根据使用模式和硬件调整量化和推测解码策略，并介绍了为NeurIPS教育轨道准备的交互式推测解码教程。
Claude 通过定制的GPU软件和开源代码，优化了超过30个开源生物分子模型的推理性能，使其平均运行速度提升了4倍。
这篇文章解释了Mixture-of-Experts (MoE) 推理的工程方面，详细介绍了令牌路由、专家批处理、GPU分配和性能权衡，以实现高效的服务。
Anthropic使用Claude为超过30个开源生物分子模型优化了推理，实现了平均4倍加速，并开源了优化代码。他们还与Adaptyv Bio合作举办蛋白质设计竞赛。
Intel 发布 OpenVINO 2026.4，扩展了 AI 模型支持，性能提升如多令牌预测，以及针对 CPU、GPU 和 NPU 的分析和推理新功能。
Meta Engineering 扩展了 FlashAttention-4，增加了对 NVIDIA Blackwell 的 MXFP8 支持，实现了高达 2.85 PFLOP/s 的正向性能，并集成了如 GEM 这样的生产训练工作流。
本文解释了AI模型中预填充和解码阶段的工作原理，以及它们对生成速度和性能的影响，帮助理解AI响应延迟的成因。
Cherenkov是一个新的Apple Silicon推理引擎，使用预测专家流和混合精度执行，实现对像Qwen3.8-Flash-Next这样的大型AI模型的高效内存受限推理。
React Native ExecuTorch v0.10 实现了显著加速，对于像FastSAM这样的AI模型，加速高达92倍，并引入TypeScript管道以提升可检查性和跨平台支持。
一项研究表明，通过在 44 个大语言模型间分配请求，可在 16 个基准测试（如 TerminalBench 和 LiveCodeBench）上减少 46% 的错误，从而优化性能。