inference

AbliteratedOutTheBox 是一个 llama.cpp 分支，可在推理时对任意加载的模型实时执行 abliteration（去除对齐/拒绝机制），无需微调、无需额外文件，也不占用额外显存。

llama.cpp 合入 PR #30928，新增 FlintForCausalLM 模型架构支持，由 alexey-rsi 提交。

一位用户在一台配备 RTX 3090、价值 2000 欧元的二手 PC 上，使用 1 位 Unsloth UD-IQ1_S GGUF 量化版本和支持按需加载 Engram 表的自定义 llama.cpp 构建版本，成功以每秒 7.2 个 token 的速度运行了拥有 7480 亿参数的 DeepSeek-V4.1-Flash-1017 模型。

Flint 仅用约 20 亿活跃参数在 Terminal-Bench 2.1 上取得 54.9% 的成绩，超越了其他小型 MoE 模型以及部分约 300 亿参数的稠密模型，同时在一台约 24GB 内存的 MacBook Pro 上以超过 125 token/秒的速度运行。

亚马逊关于在 AWS Trainium 上分析 TorchNeuron 工作负载的系列教程第 1 部分，涵盖如何使用 Neuron 后端配置 torch.profiler、解读 key_averages() 输出，以及通过 Neuron Explorer 追踪操作。

一位用户分享了通过 strata 运行 IQ4 xs 量化版 Qwen 3.8 Flash Next 的良好体验，认为其表现优于自己去年在工作中使用的模型。

NVIDIA 在 GTC 柏林展示其本地 AI 硬件全线产品，包括 RTX Spark、DGX Spark 64GB 和 DGX Station，并宣布多项新产品、软件更新及对 Nemotron、DeepSeek、Qwen 等新模型的首日支持。

Qwen3.8-Flash-Next 以 1.66bpw EXL3 量化版本发布，可完全装入一张 36GB 的 RTX 5090 中，无需卸载专家模块，实现 200-300 t/s 的稳定推理，且不会陷入思考循环。

一位开发者为 llama.cpp 分享了自定义的通用与融合 LoRA 内核，在 Strix Halo 上运行 LoRA 适配器时，提示词处理吞吐量从约 300 t/s 恢复到约 1400 t/s，并邀请其他人协助将这些改动推入上游。

Mouse-1 是一个面向 agent harness 的轻量决策模型，能处理 agent 执行过程中的大量小决策，宣称比 GPT-6 Sol 便宜 163 倍、快 65 倍，可与现有技术栈并行接入。

DeepSeek V4.1 Flash 的大规模推理部署文章，介绍 DeepInfer 结合分布式推理、缓存、负载均衡与投机解码提升效率，DeepSeek 单集群日处理 155 万亿 token，每 GPU 小时收入 38 美元，并开源了大部分推理框架。

PyTorch 北美大会的演示剧场将呈现 14 场赞助商演讲，涵盖训练、推理、编译器和部署等主题，包括来自 IBM、Datadog、Modal、Arm 和 Red Hat 的演示。

Engram 被描述为 DeepSeek 在 2026 年最重要的突破，而就在不久前，该公司刚刚免费开源了其完整的推理服务栈。

PyTorch Con 2026 现场，来自 IBM、Google Cloud 和 Red Hat 的演讲嘉宾正在带来题为“生产规模的开源推理”的演讲，并进行大语言模型现场演示。

来自 Inferact 的 Simon Mo 在 PyTorchCon 2026 上介绍了 vLLM 项目的最新进展，重点展示了跨 TPU、AMD 和 NVIDIA 硬件的 KV cache 管理和内核优化，以应对 LLM 在性能和可扩展性方面面临的挑战。

来自 #PyTorchCon 2026 现场，Amazon 的 Robert Hundt 介绍 TorchNeuron，这是 AWS Trainium 的原生 PyTorch 后端，支持即时执行和 torch.compile，可通过 vLLM-Neuron 进行训练和推理服务，还提供 Neuron Explorer，可对执行过程进行细粒度到硬件指令级别的性能分析。

swyx 指出，DeepSeek 在其知乎页面上分享了更多实质性细节，包括声称其自研推理框架 DeepInfer 每个集群每天可处理约 155 万亿个 token，每 GPU 小时收入达 38 美元；相较于通常每 GPU 小时 5–10 美元的成本，这意味着推理服务的利润率约为 80%。

Hugging Face 发布 AnyLanguageModel 1.0 及配套 swift-huggingface、swift-xet 1.0，作为 Apple Foundation Models 框架的即插即用替代，支持本地与多种托管推理提供商的统一 API。

AWS 与 PyTorch 宣布推出 TorchNeuron——一个面向 AWS Trainium 芯片的原生 PyTorch 开源后端，支持 eager 执行、torch.compile 与 NKI 自定义内核，模型代码只需 `.to('neuron')` 即可运行，将于 10 月 20 日以 Apache 2.0 公开 Beta。

Taco 提出一种跨平台 LLM 压缩方法，通过纯整数推理、精确的 float32 到整数转换与一致性测试向量，确保编码端与解码端在不同 GPU/CPU 硬件上产生完全相同的输出，并在 7 个后端上验证了哈希一致。