标签
Nace 发布 Drex Max 1.1，这是一个在分布外泛化上显著提升的多模态决策模型，拥有 262K 上下文窗口，并在 Decision Index 上取得 70.8 的成绩。
该论文提出了一种名为 Skim（自键控参数内记忆）的闭式方法，使冻结的语言模型无需外部存储即可将对话内容记忆到模型参数中，并在后续用户提问时从参数中召回答案，在五个语言模型上验证了其可行性。
该论文评估了动态评估（对正在读取的文本执行梯度更新）在 softmax 注意力、混合线性注意力和掩码扩散语言模型中的效果，发现下一词元损失降低了 5–20%，但表明这种适应捕捉的是风格和词汇，而非事实检索能力；与此同时，对模型自身结论进行低秩蒸馏，可达到上下文学习的性能，且不会降低 GSM8K 上的表现。
一位社区成员发布了 Groot 系列，这是一组包含四个 MoE 模型的家族，参数规模从 19B 到 280B，基准测试表现亮眼：其中 19B 模型可在 16GB 显卡上运行 128K 上下文，280B 模型以低成本在 SWE-bench Pro 上取得 63.47 分。
inclusionAI 发布 Ling-3.1-flash-1019，这是 Ling-3.1-flash 的升级版本，拥有 5600 亿总参数、250 亿激活参数和 100 万词元的上下文窗口，通过后训练优化，在推理与智能体能力上显著提升（AA-Briefcase Elo 评分从约 1400 升至 1524，Artificial Analysis 智能指数达到 44）。
该论文提出 Parametric Session State (PSS)，一种将长对话交互编译为固定形状的 LoRA 会话记忆层，使 RAG 系统在无需重放历史的情况下恢复未明确表述的查询中的检索意图，并在受控与公开评测中验证其跨模型与检索后端的有效性。
提出 Boa Compressor，一个基于 Mamba 状态空间模型的即插即用在线上下文压缩器，通过单次线性时间编码任意长度上下文，并以蒸馏方式训练以匹配完整上下文下的下一词元分布，在相同压缩率下匹敌或超越离线压缩基线且延迟降低一个数量级。
Mirendil 发布其首个自研基础模型 Fern，支持最高 10M token 上下文窗口，专注于大规模 agentic 任务，如全代码库审计、日志调试和完整轨迹分析。
Cloudflare 披露了其 GLM-5.3 Workers AI 模型中的一项租户隔离缺陷：由于 SGLang 配置错误和程序缺陷，跨请求的 KV 缓存暴露导致在 155 次长上下文响应中泄露了其他用户的数据。目前该问题已修复，并对部署进行了安全加固。
HyScale 提出了一种面向长上下文训练的学习型稀疏注意力系统，通过 HyTopK（免分数表的精确 top-k 选择）和选择重放（selection replay）技术，在 1M token 序列上将 GLM-5.1 训练速度提升至 Megatron-LM 的 2.07 倍。
提出全双工长时程基准（FD-LHB），发现现有全双工语音模型在长时间对话中会因上下文耗尽或重复、静音、乱码而崩溃，并通过初始化锚点固定和双工重复惩罚两种免重训练修复方法显著缓解对话退化。
本报告介绍了 Kolibri，一款英德双语混合专家（MoE）Transformer 模型，总参数量为 78.1B，激活参数量为 3.46B。该模型以 Apache 2.0 协议发布开放权重，面向受监管领域的主权化、德语优先部署场景。Kolibri 在 24T token 上进行训练，其中德语数据占比超过 20%，并通过 SFT 与 RL 在 120 万条精选任务上完成后训练。在所评估的开放模型中，Kolibri 在模型质量与服务成本之间处于帕累托前沿。
LazyFlash 提出一种前向稠密、后向稀疏的注意力机制，通过梯度感知的块稀疏化在保持模型性能的同时，实现最高 5.7x 的注意力反向加速和 1.7x 的端到端训练加速，适用于长上下文 LLM 微调。
百度发布 Unlimited-OCR-2，借助 SR-SWA（稀疏参考滑动窗口注意力）在有限上下文窗口内实现超长乃至无界文档解析，并同步推出 MarathonDocBench 超长文档解析基准。
Moonshot AI 旗下的 Kimi 发布 K3.1 Pro 系列，这是其最强的 3T 级开源权重模型，具备 100 万 token 上下文窗口，在编码、3D 生成、金融研究和智能体任务上大幅提升，并将于 11 月 4 日开放全部模型权重。
南北阁发布了 Nanbeige4.3-33B，这是一款采用 Apache 2.0 许可证、拥有 512K 上下文窗口的教师模型，旨在训练更小的智能体模型，例如即将推出的 3B 版本。据报告，该模型在 Terminal-Bench 2.1 上表现强劲，但在 SWE-Bench Pro 上的表现则有好有坏。
对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎（basalt、capy-flash、ninfer-ext）进行完整 262k 上下文基准测试，basalt 在所有上下文长度和两种解码模式下均领先（预填充速度为 8.1k–9.2k 词元/秒，贪心解码速度为 176–265 词元/秒），解码排名与 MTP 草稿接受率一致。
蚂蚁集团发布了 Ling-3.0-flash-Sante 的模型权重，这是一个开放的医疗推理模型，采用 124B 总参数 / 5.1B 激活参数的 MoE 架构，支持 256K 上下文，采用 MIT 许可证，具备智能体式深度研究与工具使用能力。
InclusionAI（蚂蚁集团）宣布推出 Ling-3.0-flash-Sante，这是一款专注于医疗健康领域的模型，拥有 1240 亿参数（激活参数为 51 亿）和 256K 上下文窗口，适用于医学推理、文献研究和工具辅助工作流，模型权重已在 Hugging Face 上发布。
蚂蚁集团 inclusionAI 发布医疗专用模型 Ling-3.0-flash-Sante，基于 Ling-3.0-flash 构建，采用总参数量 1240 亿、激活参数量 51 亿的混合线性混合专家（MoE）架构，支持 256K 长上下文，面向医疗推理、深度研究和工具辅助工作流，权重已在 Hugging Face 与 ModelScope 开放。