标签
作者调侃称AI竞赛最搞笑的结局是：万亿美元级公司砸数千亿开发超人类智能，几年后却有人能在500美元的笔记本上跑出接近的能力，并表示希望这真的发生。
论文提出了 Spectral-MoE，一种在将稠密模型转换为混合专家模型（MoE）时，为不同层动态分配专家利用率预算的方法，包括静态和动态两种分配器。该方法在 Llama-2-7B、Llama-3-8B 和 Qwen2.5-7B 上显著降低了困惑度并提升了下游任务准确率，确立了逐层专家利用率这一新的优化方向。
Intern-Decision 引入了一系列紧凑型（0.8B/2B/4B）多模态决策模型，采用自回归掩码语言建模目标，在单次因果前向传播中输出带概率的结构化选择，在七个基准上达到 90.02% 的平均准确率，并具有低延迟，适用于交互式智能体。
STAPLE提出一种将静态稀疏记忆集成到预训练模型的方案，通过残差嵌入模块在有限微调下扩展参数容量，在OLMo-2上显著超越MoE上采样基线，同时保持接近稠密模型的吞吐与更低的内存/能耗。
一位用户称赞 Qwen 3.8 27B 是一款被低估的高性能模型，指出更小的本地模型也能媲美更大的模型，而大模型目前在「指向」方面仍有力不从心之处。他计划通过提示词优化来进一步提升性能。
提出ShellElastic，一种将隐藏维度组织为稠密核心与递增外壳的弹性Transformer架构，使单次全宽前向即可同时包含所有子网络的精确隐藏状态；并引入μE扩展最大化更新参数化（μP），保证子网络在超网络加宽或增加外壳时仍被最大化更新且超参数可迁移，性能优于MatFormer等弹性基线并逼近分别训练的模型。
该论文提出 Stepped MoE，一个将弹性结构与稀疏门控路由统一的框架，使单一 LLM 能同时适应部署约束和任务需求，在 1B-4B 参数规模间灵活切换并优于稠密模型 2-5%。
LittleBit 提出了一种通过低秩潜在矩阵分解与二值化实现超低比特（低至0.1 BPW）LLM 量化的框架，配合多尺度补偿机制，在 Llama2-7B 上以 0.1 BPW 超越了现有 0.7 BPW 方法，实现约 31 倍内存压缩与最高 11.6 倍推理加速。
Samsung Labs 释出 LittleBit 项目（NeurIPS 2025 / ICML 2026），通过潜在空间低秩分解与二值化实现大语言模型的亚 1-bit（低至 0.1 bpw）压缩，并在 LittleBit-2 中引入 Joint-ITQ 潜在几何对齐初始化以提升性能。
提出了SparseDecoding，一种面向解码阶段的训练无关剪枝框架，通过在自回归生成时收集校准数据对齐Hessian分布，并开发优化的N:M稀疏矩阵向量核，在A100上实现最高1.48倍端到端解码加速。
一篇 Reddit 帖子质疑 Qwen 的 27B 模型为何能达到与 GPT-4o 相当甚至更好的性能，并推测这是否归功于质量更高、数量更充足的预训练数据，或是其他新技术带来的效率提升。
Nokia 应用研究部门与 Florida State University 的研究人员提出了大模型压缩（剪枝、量化、蒸馏）的能力缩放定律：通过共享密度-响应关系，拟合剪枝预测模型所需的测量量减少一半，同时在 Pythia 和 OLMo-2 模型上与完整拟合的回归结果差异不超过每 token 0.020 nats。
一条推文认为人们低估了 GLM 5.3 和 GLM 5.3 Flash 的智能水平，指出它们在所需计算资源极小的情况下仍展现出令人惊叹的能力——完全不需要整个数据中心。
OpenAI将重新开放其Pro $200订阅，并采用新的用量计算方式，将有效的API支出减半，同时通过模型效率提升确保价值不断增加。
Tibo 宣布对 Pro $200 订阅进行更改，有效将 API 支出减半，并承诺随着时间的推移提供更高价值，包括新的模型定价和即将推出的功能。
文章建议在高强度模式下使用 Claude Sonnet 5.5 以节省成本，同时声称 Opus 5.5 是目前最高效的模型。
一篇预印本论文介绍了 Foil——将 MoE 专家层展平为更少的层、每层更多专家以及更多循环次数，并在每次循环中使用解耦的注意力，在相同参数量和计算量下取得了更低的预训练损失。
一份 Epoch AI 报告指出，达到特定 AI 性能水平的成本已急剧下降，OpenAI o3 和 GPT-5.6 Luna 在 GPQA Diamond 等基准测试上展示了推理成本降低 725 倍。
本文提出CS-MoE，一种创新的Transformer架构，通过跨层共享神经专家来提高参数利用率，仅激活55%的参数即可实现更低的困惑度。
作者质疑为什么参数少于50M的微小AI模型或一群专门化的微模型在生产环境中很少被部署，推测原因可能是工具偏差或通用模型的便利性。