标签
Mistral 发布 Timestral 时间序列基础模型家族，包含 5M 到 209M 参数四个版本，其 209M 模型在 GIFT-Eval、TIME 和 fev-bench 三大基准上均排名第一，支持零样本概率多变量预测且可在 CPU 上推理。
Xolotl 是一个基于 Strata 的推理引擎，可在单张 RTX 4090 消费级 PC 上以约 27 tok/s 运行 552B 的 DeepSeek-V4.1-Flash，并即将支持新的 1017 量化版本。
一位技术爱好者在配备 128GB 内存的 Jetson AGX Thor 上运行 MiMo-2.6-Pro（FP8，约 566GB），以每秒 0.646 个 token 的速度，戏谑地反驳了 Dario Amodei 对开放权重模型的批评——速度慢得令人痛苦，但整个过程都有完整记录，并可逐步回放。
该论文提出 Stepped MoE，一个将弹性结构与稀疏门控路由统一的框架，使单一 LLM 能同时适应部署约束和任务需求，在 1B-4B 参数规模间灵活切换并优于稠密模型 2-5%。
本文提出了首个针对非洲语言社区、语音优先的离线 AI 栈的端到端基准测试，评估了三个指令微调的 2–5B 模型在 NVIDIA Jetson Orin NX 和 Raspberry Pi 5 硬件上采用四种量化格式的表现，发现 Q4_K_M 提供了最佳的体积与质量平衡。
一位双 DGX Spark 用户报告称，全新的 GLM 5.3 Flash 方案带来了 50-90% 的解码速度提升，在本地硬件上不仅比 DeepSeek v4.0 Flash 更快，推理质量也更好。
论文对比了 Jev-1.13.0 等决策模型与大型语言模型在 6G Open RAN RIC 中解释网络意图并生成 A1 策略的性能：LLM 因延迟过高（中位 0.286–2.35 秒）几乎无法满足 1 秒近实时预算，而 Jev 在 99.8% 的调用中达标，且未显示出优于 Jev 的 SLA 改善。
本文提出 Decode-Latency Feedback Prefill（DLFP），一种基于观测到的解码延迟来调整分块预填充（chunked prefill）大小的无模型比例控制器，并已在 vLLM 中实现。在 A100 上针对 Qwen3-0.6B，该方法将 P99 词间延迟降低了约 28%。论文同时指出，该方法在更大规模模型和多 GPU 部署场景下存在明显的泛化失效问题。
本文提出了一种神经符号路由器，通过语法推断（L* 算法）学习基于 DFA 的调度器，将结构化查询发送给确定性的符号求解器，并将小型语言模型留给边缘硬件上的开放式问题。在 Raspberry Pi 4B 上进行的评估表明，该路由器的整体准确率达到 98.3%，运行速度比 Program-of-Thought 基线方法快 8.8 倍。
Arm的Thomas Cottenier将在PyTorch Conference North America上展示AI代理如何利用PyTorch组件合成定制化运行时，以在边缘硬件上进行优化推理。
RunAnywhere 发布了一套包含八个跨平台 SDK 的综合套件，支持开发者在任意设备上本地运行多模态 AI 模型，并自动将推理任务路由至最佳可用硬件加速方案，包括 Apple Neural Engine 和 Snapdragon Hexagon NPU。
文章对比了Mamba和RWKV两个AI模型架构阵营的路线：Mamba面向云侧企业AI平台，RWKV面向端侧和边缘设备，各自适配不同硬件与推理场景。
Liquid AI 发布了 LFM2.5-2.6B，这是一个 2.69B 参数模型，支持 128K 上下文和工具调用，专为多步骤智能体工作流优化，可在手机上以 30 tok/s 运行，Q4_K_M GGUF 文件约 1.67GB。不过，与更大的模型相比，其在编码和知识密集型任务上仍然较弱。
bigedgeonmoe开源代码库的创建者使得在移动设备和消费级PC上运行大规模MoE模型（高达120B参数）成为可能，在中端手机上实现了Qwen 35B模型每秒6个token的速度。
Microsoft发布了VibeVoice-ASR-BitNet，这是一个压缩的多语言ASR模型，用于实时CPU推理。与Whisper.cpp相比，它的推理速度提高了1.6-2.3倍，并且仅需3个CPU线程即可实现实时能力。
StickyMoE提出了一种可微的路由一致性损失函数，鼓励相邻token在MoE模型中激活相同的专家，从而在边缘设备推理过程中将专家交换开销和缓存未命中率降低高达3.92倍，同时改善困惑度。
BaseRT是一个专为Apple Silicon上的LLM构建的原生Metal推理运行时，在测试模型上，其解码吞吐量比llama.cpp高出1.56倍，比MLX高出1.35倍。
本文提出了一种级联多粒度剪枝框架，用于在工业物联网边缘设备上部署大语言模型，在MHA+GELU架构上实现了高达13.8倍的压缩，且精度损失极小，同时揭示了GQA+SwiGLU设计上的性能崩溃。
Liquid AI发布了LFM2.5-230M，一款紧凑的230M参数混合模型，针对设备端部署进行了优化，边缘推理速度快（在Galaxy S25 Ultra上达到213 tok/s），并通过强化学习构建，适用于智能体任务。
使用TurboQuant，用户在GTX1060 3GB上以20 tokens/秒运行Qwen 3.6 35B MoE模型，展现了在陈旧硬件上令人印象深刻的性能。