标签
一场讨论探讨如何为循环(权重复用)Transformer 模型定义「活跃参数」,提出活跃参数应随循环次数缩放,以保持其作为每 token GB(TG)和每 token FLOPs(PP)估计值的意义,并以 Inkling 2 Mini、SenseNova-Loop-9B 和 Nanbeige4.2-3B 等模型为例进行说明。
阿里巴巴的 Qwen4 Max 在 Artificial Analysis 智能指数上的得分提升了 9 分,同时将任务成本降低了 67%,推理输出减少了 39%。这些提升得益于全新的 2.4 万亿参数架构,该架构每个 token 激活的参数数量减少了 25%。
提示词缓存保存在处理上一次请求的后端,因此路由切换会让较长的前缀重新按全新输入计费——例如,700k token 的 Kimi K3 上下文在切换后每次调用约需 2 美元,而缓存命中时约需 0.20 美元。这篇帖子讨论了固定服务提供商、在单台主机上部署多个模型,以及仅在出错时启用回退,以保持缓存热度。
一篇观点文章,主张人工智能并不比人类更昂贵,认为当今前沿模型的价格难以作为未来成本的可靠参考,因为开放权重模型很快就能以低得多的价格达到前沿模型的能力水平,而机器完成认知工作的成本最终将比人类劳动低数个数量级。
Levanto Labs 推出 Sage2,一款流式决策模型,对对话中的每个 token 仅计算一次,复用缓存上下文,因此每条新消息只需承担其自身的 token 成本。它提供带类型化答案和校准概率的输出,在渐进式上下文下声称决策速度提升 3 倍,且抽取成本比 Opus 5.5 低 166 倍。
前 JetBrains Mellum 预训练负责人 Nikita Pavlichenko 通过 1129 次训练实验系统评估了 2020 年以来的 LLM 架构改动,指出架构红利基本被 DeepSeek-V3 那一代吃完,细粒度 MoE 和线性注意力是最扎实的进步,而 Muon 等训练方法与推理 kernel 的影响常被低估。
该论文研究了在RAG知识冲突分类任务中使用类型化决策模型替代大语言模型的可行性,结果表明,决策模型在成本仅为其1/4至1/39、延迟更低的情况下,可达到或超过Gemini 2.5 Flash的准确率。
即将发表的VocabX论文预览:围绕token成本(而非词频)对小型语言模型的词汇表进行专门化,在基于Qwen3-4B构建的葡萄牙语作文评分生产系统中,在不修改基座模型的情况下,实测推理成本降低了77%。
对500个AI模型价格与评分的追踪显示,某个分数首次被顶级模型达到后约6个月,达到同等分数的成本通常降至约20分之一,一年后降至105分之一,而顶级模型自身的价格基本持平。
用户讨论 DeepSeek V4.1 Flash 的 token 效率表现,初步测试显示在高思考强度下 CoT 更短且质量更高,解决任务所需轮次更少,值得尝试。
提出「在前沿LLM上迭代开发行为,再蒸馏到小模型(SLM)上线」的两阶段方法:用LoRA微调的Qwen3-8B在家庭护理排班智能体的生产决策上达到0.913一致率,优于教师模型GPT-5.4-nano自身重跑时72.7%的自我一致性,且延迟降低约2.5倍、成本大幅下降。论文已被NeurIPS 2026第二届企业任务智能体基准与应用研讨会(AABA4ET)接收。
LEASH 是一个免训练框架,利用隐层不确定性在弱模型与强模型之间按需切换,并在交接后通过影子观察者持续监督强代理,在 OSWorld 上以更低推理成本达到与 Claude Opus 5 相当的成功率。
一位开发者认为,在用 eBay 上的低价硬件组装的服务器上本地运行 Qwen3.8FN Q4,比使用几乎所有云端模型都便宜(启用缓存的 GPT-6 Luna 和 Claude Haiku 5.5 除外),因此可以让智能体运行更长时间,取得比成本高得难以承受的前沿云端模型更好的结果。
ScaleDown 发布了三款小型 Constrained Decoding 模型(Classify、Extract、Summarize),支持 1M token 输入窗口和图像输入,通过单次 prefill 直接从输入中选取答案而非逐 token 生成,据称比前沿 LLM API 快 200 倍、便宜 467 倍。
据称 OpenAI 使用其能解出此前未解数学问题的内部模型来改进自身算法,将推理成本降低了约 50%,显示出 AI 开始反哺提升自身效率。
EdgeWise 是一个边缘-云协作框架,在本地部署小语言模型(SLM)作为主要求解器,并通过强化学习在关键步骤选择性地将任务委派给云端大模型,从而在 SWE-Rebench 上降低高达 62%、在 Terminal-Bench 2.1 上降低 34% 的推理成本,同时保持与纯 LLM 执行相当或更好的性能。
Cloudflare 发布 clef-omni,支持音频和视频输入,被用于 PII 检测、恶意域名识别等场景;同时 clef-flash 价格降至每百万输入 token 0.038 美元,具备较高性价比。
论文提出用零训练的 System-One LLM(Jev)直接对学习者状态输出答对概率,在无任何目标平台数据时 AUC 达 .706,超过 28 个深度 KT 模型在 8 名学习者上训练的结果以及 System-Two 推理式 KT,且成本仅约 1/100;加入 64-shot 示例和近邻统计后(JevKT)提升至 .722,在约 64 名学习者以内保持领先。
该论文提出「先澄清、再聚焦」的声明归一化方法,将对话转化为带来源引用和语义标签的简短陈述,使仅由小模型构成的推理管线能以约100倍更低的成本处理数百万条企业客服对话的分析任务。
一篇回顾大语言模型三年技术演进的深度评论:长上下文处理从RAG转向前缀缓存与百万级上下文窗口,Transformer依然因GPU张量核心的硬件生态胜过线性复杂度的新架构,推理成本靠量化、蒸馏和任务分流平民化,智能体转向渐进披露、命令行沙箱与测试闭环的务实工程路径,而幻觉问题依旧难解。