inference

QUASAR 释放了针对 Qwen3.5-4B、Gemma 4 E4B/12B 和 Muse Glimmer 30B 的 4-bit QAT 检查点（NVFP4 与 Q4_0 GGUF 格式），通过量化感知蒸馏在 KL 散度和下游基准上超越 Google 与 NVIDIA 的官方 4-bit 版本。代码、论文与项目页现已公开。

Liquid AI released d1-ultra, a multimodal decision model that processes text and images in a single forward pass to return calibrated probabilities without token generation, claiming top performance on the Artificial Analysis Decision Index and pricing at $0.042 per million input tokens.

A user benchmarks a £300 Snapdragon X mini PC running 35B and 80B local models on CPU alone, and ports the Janas MoE offloading tool to ARM with NEON kernels to squeeze out usable token rates. Results show 80B models running on 32GB RAM and hints at multi-box USB4 distributed inference.

Meta 发布 Muse Spark Open，宣称是美国最强开源权重模型：816B 总参数（42B 激活）、1M token 上下文、原生多模态，面向编码与智能体任务，并首次可在两台 Apple M5 Ultra Mac Studio 桌面端本地运行。

Phil Schmid 介绍 Google 新推出的 Gemma 官方文档站点，涵盖模型能力、微调指南、推理优化以及模型工作原理的教育内容，全部集中在一个平台上。

有传言称微软可能正在开发一个137B总参数、6.8B激活参数的MoE模型，并借由llama.cpp的代码提交和gguf格式支持引发关注。

patio11 shares early impressions of multi-agent development workflows, calling them clearly the future, predicting massive inference spending, and noting that the work barely feels like traditional software engineering yet is deeply draining.

该论文研究在图数据库中直接进行图神经网络的训练与推理，展示使用Cypher执行采样、特征检索和完整前向传播的可行性，优化后训练速度提升约2.5倍，推理速度比冷加载图到内存快10倍以上。

Netflix 技术博客文章，介绍其如何在大规模训练与推理任务中检测故障 GPU 和网络、自动修复故障机器，并让长时间运行的任务在硬件故障时继续运行。文章强调了 GPU 可靠性对可用性和成本效率的重要性，并解释了为何基础健康检查不足以应对现代 ML 基础设施的需求。

Vals AI argues that model routers are becoming a new primitive in the AI stack, showing that an oracle router would beat the best single model by 14 points on the Vals Index while costing about 40% less, as the frontier remains 'jagged' across benchmarks.

一位用户分享了对本地 LLM 推理工具 Strata 的深度性能调优经验，通过调整 --pcie-frac、--pool-workers、--trim-stage-weights、--pipeline-windows 等参数并在双 RTX 3060 上优化 GPU 优先级，实现了约 35 tps 到 60+ tps 的解码速度提升。

Perplexity 宣布在其 Computer 产品中支持 OpenAI 前沿模型（GPT-6 Astra、SOL 6.1）的超高速推理模式，供 Max 订阅用户使用，可更快完成长任务，但会消耗更多积分。

Inworld AI announced it is opening its inference platform to the public, touting extremely low costs such as $0.035 per million cached input tokens on Gemma 4 26B. The company claims it already processes tens of trillions of tokens monthly for consumer AI apps.

Inworld is opening up its inference infrastructure, positioning itself as a new inference provider that already processes tens of trillions of tokens a month, built from the ground up for consumer AI applications.

对 Qwen3.8-Next (IQ3_S) 与 Qwen3.8-27B (UD-Q4_K_XL) 在 AIME26、IFEval、BFCL v4 和 LiveCodeBench v6 上的部分基准对比，Next 以 151/166 对 145/166 略微领先，但显著性有限（p=0.18），且运行在不同硬件上（MI50 vs RX 7900 XTX）。

A developer shares progress on a new "decision" pipeline in Hugging Face `transformers` to support all jev-like models via `transformers serve`, aiming to bring standardization to the fragmented model ecosystem.

ggerganov 在 llama.cpp 仓库提交 PR #30459，为 common 新增 --spec-draft-n-ubatch 选项，用于调整推测解码的 draft micro-batch 大小。

一位开发者分享了他用二手零件组装的双 RTX 3090 本地 LLM 主机，并询问为何多 GPU 推理性能提升不及预期，以及如何定位瓶颈和优化配置。

该论文提出 REASON 双循环推理框架，通过快速（System 1 式）和中速（System 2 式）循环分层解决残差误差，在分布偏移和未见扰动下以约一半计算量显著提升模型鲁棒性，并优于分级分类器和学习延迟方法。

Prime Intellect 宣布收购 Moondream，其创始人 Vik Korrapati 和 Jay Allen 将加入并主导推理与多模态模型（视觉与计算机使用）工作；Moondream 的 Photon 推理引擎与内核技术将整合进 Prime 的技术栈，Moondream 3.1 及 Clef 系列模型现已上线 Prime Inference。