Tag
Nace 发布 Drex Max 1.1，这是一个在分布外泛化上显著提升的多模态决策模型，拥有 262K 上下文窗口，并在 Decision Index 上取得 70.8 的成绩。
该论文提出了一种名为 Skim（Self-keyed In-Parameter Memorization）的闭式方法，使冻结的语言模型无需外部存储即可将对话内容记忆到模型参数中，并在后续用户提问时从参数中召回答案，在五个语言模型上验证了其可行性。
The paper measures dynamic evaluation (taking gradient steps on text being read) across softmax-attention, hybrid linear-attention, and masked-diffusion language models, finding 5–20% next-token loss reductions but showing the adaptation captures style/vocabulary rather than factual retrieval, while low-rank distillation of a model's own conclusions reaches in-context performance without degrading GSM8K.
A community member released the Groot Series, a family of four MoE models ranging from 19B to 280B parameters, touting strong benchmark results including a 19B model running 128K context on a 16GB GPU and a 280B model scoring 63.47 on SWE-bench Pro at low cost.
inclusionAI 发布 Ling-3.1-flash-1019，Ling-3.1-flash 的升级版本，拥有 560B 总参数/25B 激活参数和 1M token 上下文窗口，通过后训练优化在推理与 agentic 能力上显著提升（AA-Briefcase Elo 从约 1400 升至 1524，Artificial Analysis Intelligence Index 达 44）。
该论文提出 Parametric Session State (PSS)，一种将长对话交互编译为固定形状的 LoRA 会话记忆层，使 RAG 系统在无需重放历史的情况下恢复未明确表述的查询中的检索意图，并在受控与公开评测中验证其跨模型与检索后端的有效性。
提出 Boa Compressor，一个基于 Mamba 状态空间模型的即插即用在线上下文压缩器，通过单次线性时间编码任意长度上下文，并以蒸馏方式训练以匹配完整上下文下的下一词元分布，在相同压缩率下匹敌或超越离线压缩基线且延迟降低一个数量级。
Mirendil 发布其首个自研基础模型 Fern，支持最高 10M token 上下文窗口，专注于大规模 agentic 任务，如全代码库审计、日志调试和完整轨迹分析。
Cloudflare disclosed a tenant isolation flaw in its GLM-5.3 Workers AI model where cross-request KV cache exposure leaked other users' data in 155 long-context responses, caused by a SGLang misconfiguration and bug, now remediated with hardened deployments.
HyScale 提出了一种面向长上下文训练的学习型稀疏注意力系统，通过 HyTopK（免分数表的精确 top-k 选择）和选择重放（selection replay）技术，在 1M token 序列上将 GLM-5.1 训练速度提升至 Megatron-LM 的 2.07 倍。
提出 Full-Duplex Long-Horizon Benchmark（FD-LHB），发现现有全双工语音模型在长时间对话中会因上下文耗尽或重复、静音、乱码而崩溃，并通过 Initialization-Anchor Pinning 和 Duplex Repetition Penalty 两种免重训练修复方法显著缓解对话退化。
This report introduces Kolibri, an English-German mixture-of-experts transformer with 78.1B total and 3.46B active parameters, released as open weights under Apache 2.0 for sovereign, German-focused deployment in regulated domains. Trained on 24T tokens with over 20% German data and post-trained with SFT plus RL on 1.2M curated tasks, Kolibri lies on the Pareto frontier of quality and serving cost among evaluated open models.
LazyFlash 提出一种前向稠密、后向稀疏的注意力机制，通过梯度感知的块稀疏化在保持模型性能的同时，实现最高 5.7x 的注意力反向加速和 1.7x 的端到端训练加速，适用于长上下文 LLM 微调。
百度发布 Unlimited-OCR-2，借助 SR-SWA（稀疏参考滑动窗口注意力）在有限上下文窗口内实现超长乃至无界文档解析，并同步推出 MarathonDocBench 超长文档解析基准。
Moonshot AI 旗下的 Kimi 发布 K3.1 Pro 系列，这是其最强的 3T 级开源权重模型，具备 100 万 token 上下文窗口，在编码、3D 生成、金融研究和智能体任务上大幅提升，并将于 11 月 4 日开放全部模型权重。
Nanbeige released Nanbeige4.3-33B, an Apache 2.0 teacher model with a 512K context window intended to train smaller agent models like an upcoming 3B variant, reporting strong Terminal-Bench 2.1 results but mixed performance on SWE-Bench Pro.
对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上的三个推理引擎（basalt、capy-flash、ninfer-ext）进行全 262k 上下文基准测试，basalt 在所有上下文长度和两种解码模式下均领先（prefill 8.1k-9.2k tok/s，greedy decode 176-265 tok/s），解码排名与 MTP 草稿接受率一致。
蚂蚁集团发布了 Ling-3.0-flash-Sante 的模型权重，这是一个开放的医疗推理模型，采用 124B 总参数 / 5.1B 激活参数的 MoE 架构，支持 256K 上下文，采用 MIT 许可证，具备 agentic 深度研究与工具使用能力。
InclusionAI (Ant Group) announced Ling-3.0-flash-Sante, a 124B-parameter (5.1B active) healthcare-focused model with a 256K context window for medical reasoning, literature research, and tool-assisted workflows, with weights released on Hugging Face.
蚂蚁集团 inclusionAI 发布医疗专用模型 Ling-3.0-flash-Sante，基于 Ling-3.0-flash 构建，采用 124B 总参数/5.1B 激活参数的混合线性 MoE 架构，支持 256K 长上下文，面向医疗推理、深度研究和工具辅助工作流，权重已在 Hugging Face 与 ModelScope 开放。