标签
BigBang-v1 是来自上海 Endless Frontier Lab 的自我进化 36B 大语言模型，使用 AI 生成的前沿任务进行训练，仅用 10K 个高质量示例就在科学、编码、工具使用和长上下文方面取得了强劲表现。
This paper introduces QEvict, a KV-cache management scheme for LLMs that uses recoverable quantized eviction to handle attention drift during long-context decoding, improving memory efficiency while preserving important historical context.
介绍了BinaryPC，一种面向长上下文大语言模型的无训练哈希稀疏注意力方法，利用二值主成分构建哈希码，在保持准确率的同时，解码吞吐量较FlashAttention提升了3.56倍。
本文识别了硬提示压缩中的一种结构性失败，称为“指称悬空”，即独立评分会拆散相互依赖的证据对，移除了解释保留答案所需的上下文。实验表明，这种现象影响多种压缩器和数据集，而自动恢复缺失的指称可提高问答准确率。
引入了OctoLong，一个用于整理依赖丰富的跨仓库代码上下文的上下文工程流水线，以及OctoLong-Instruct，一套基于该数据训练的长上下文开放语言模型。实验表明，用OctoLong数据替换12%的传统长上下文语料，在长距离检索、状态跟踪、仓库级代码理解和智能体任务上带来了显著提升。
ATFlash introduces a per-RoPE-wavelength distance window that prunes query-key inner-product terms proportional to each frequency pair's wavelength, cutting 37-48% of attention compute with minimal quality loss and up to 1.31x speedups on long-context LLM inference.
PI-Mem is a parallel-iterative memory mechanism that pushes long-context reasoning to 3.6M tokens, outperforming recurrent-memory baselines while achieving significant inference speedups.
AnchorKV is a new KV cache compression scheme that shrinks the cache by 20x without discarding any tokens, using anchor-residual representations to preserve 99% of full-cache accuracy at the 70B scale. The paper is a preprint under review.
本文引入了干扰物感知截断，以在长上下文LLM基准测试中将上下文长度效应与信号丢失分离开来，表明朴素截断将两者混为一谈，而保留任务相关内容并移除干扰物则能维持或提升性能。
TaskPress introduces a query-agnostic KV cache compression framework that uses a task guide as a meta-query and quantization scale factors to prune irrelevant tokens, enabling reusable caches across diverse queries with negligible overhead.
K-EXAONE 2.0 是 LG AI Research 推出的开源权重多语言 MoE 基础模型，总参数达 750B，激活参数为 37B，支持 10 种语言和 256K 上下文，在智能体编码、长上下文理解和安全性方面均有显著提升。
inclusionAI 发布了 Ling-3.0-flash，一款原生混合推理模型，总参数量124B，激活参数量5.1B，采用混合线性注意力架构（KDA+MLA）与稀疏MoE。其性能与上一代1T级模型 Ring-2.6-1T 相当或更优，同时计算效率大幅提升，并内置智能体与长上下文优化。
This paper introduces S4R, a low-rank KV cache compression method that combines selective token sampling, subspace construction, and sparse reconstruction to achieve up to 5× compression with near full-cache accuracy on LongBench and RULER benchmarks.
DeepSeek-V4-Flash 是一个 284B 参数的 MoE 模型，每 token 激活 13B 参数，采用混合压缩注意力机制，可降低 1M token 上下文的 KV 缓存需求。可使用 Modal 上的 SGLang 提供服务，在单个 B300 上实现快速解码。
NVIDIA explains how attention architecture choices (group size, head dimension, KV-cache size, parallelism) set the ceiling for long-context inference performance, with guidelines for co-designing models for faster serving.
Meituan 发布了 LongCat-Flash-Lite-Sparse，这是一款稀疏注意力模型，支持 1M token 上下文，每 token 仅激活约 3B 参数，在 MIT 许可下取得了强劲的 SWE-Bench 成绩。
ResKV提出了一种KV缓存压缩方法，将固定预算分为精确的主缓存和紧凑的残差缓存，以重构被省略的注意力贡献，从而在多个骨干网络上提升LongBench和RULER上的性能。
介绍了FinIndices，一个大规模基准测试，用于评估LLM在未裁剪财务报表上的数据处理保真度，揭示了财务推理中的知识瓶颈和结构瓶颈。
微软研究院的LazyGraphRAG在8k、120k和百万token上下文的数据本地问题上超越了向量RAG，以十分之一的成本赢下92/90/91%的胜率，现已在GitHub上开源。
RestoreKV 引入了一种学习式恢复机制，作为查询无关 KV 缓存驱逐的补充；它通过一次 LoRA 适配的遍历生成紧凑的上下文条件恢复缓存，从而在激进预算下恢复全缓存行为，并在四个长上下文基准上提升了性能。