inference-cost

标签

Cards List
#inference-cost

【讨论】在循环模型的时代,「活跃参数」意味着什么?

Reddit r/LocalLLaMA ↗ · 22小时前

一场讨论探讨如何为循环(权重复用)Transformer 模型定义「活跃参数」,提出活跃参数应随循环次数缩放,以保持其作为每 token GB(TG)和每 token FLOPs(PP)估计值的意义,并以 Inkling 2 Mini、SenseNova-Loop-9B 和 Nanbeige4.2-3B 等模型为例进行说明。

0 人收藏 0 人点赞
#inference-cost

阿里巴巴的 Qwen4 Max 在 Artificial Analysis 智能指数上的得分跃升了 9 分,同时将任务成本降低了 67%,推理输出减少了 39%。其全新的 2.4 万亿参数架构使每个 token 激活的参数数量减少了 25%。

Reddit r/singularity ↗ · 5天前

阿里巴巴的 Qwen4 Max 在 Artificial Analysis 智能指数上的得分提升了 9 分,同时将任务成本降低了 67%,推理输出减少了 39%。这些提升得益于全新的 2.4 万亿参数架构,该架构每个 token 激活的参数数量减少了 25%。

0 人收藏 0 人点赞
#inference-cost

当路由在会话中途切换主机时,缓存会重新开始,将其保持在同一台主机上

Reddit r/openclaw ↗ · 2026-11-14

提示词缓存保存在处理上一次请求的后端,因此路由切换会让较长的前缀重新按全新输入计费——例如,700k token 的 Kimi K3 上下文在切换后每次调用约需 2 美元,而缓存命中时约需 0.20 美元。这篇帖子讨论了固定服务提供商、在单台主机上部署多个模型,以及仅在出错时启用回退,以保持缓存热度。

0 人收藏 0 人点赞
#inference-cost

人工智能并不比人类更昂贵

Reddit r/singularity ↗ · 2026-11-02

一篇观点文章,主张人工智能并不比人类更昂贵,认为当今前沿模型的价格难以作为未来成本的可靠参考,因为开放权重模型很快就能以低得多的价格达到前沿模型的能力水平,而机器完成认知工作的成本最终将比人类劳动低数个数量级。

0 人收藏 0 人点赞
#inference-cost

@akshay_pachaar: Jev 之后的下一步:像 Jev 这样的决策模型会在每次调用时按完整上下文计费并计算,因此一段 40 条消息的对话……

X AI KOLs Following ↗ · 2026-11-02 缓存

Levanto Labs 推出 Sage2,一款流式决策模型,对对话中的每个 token 仅计算一次,复用缓存上下文,因此每条新消息只需承担其自身的 token 成本。它提供带类型化答案和校准概率的输出,在渐进式上下文下声称决策速度提升 3 倍,且抽取成本比 Opus 5.5 低 166 倍。

0 人收藏 0 人点赞
#inference-cost

@AI_Whisper_X: LLM 模型架构的红利,已经被吃完了 读了一篇关于模型架构的文章,2020 年以来那么多 LLM 架构改动,放到同一套实验设置里,到底哪些是真的有用? 作者 Nikita Pavlichenko(前 JetBrains Mellum 预训…

X AI KOLs Timeline ↗ · 2026-11-02 缓存

前 JetBrains Mellum 预训练负责人 Nikita Pavlichenko 通过 1129 次训练实验系统评估了 2020 年以来的 LLM 架构改动,指出架构红利基本被 DeepSeek-V3 那一代吃完,细粒度 MoE 和线性注意力是最扎实的进步,而 Muon 等训练方法与推理 kernel 的影响常被低估。

0 人收藏 0 人点赞
#inference-cost

我们需要大语言模型来理解来源为何冲突吗?面向 RAG 中知识冲突类型判定的决策模型

arXiv cs.CL ↗ · 2026-10-28 缓存

该论文研究了在RAG知识冲突分类任务中使用类型化决策模型替代大语言模型的可行性,结果表明,决策模型在成本仅为其1/4至1/39、延迟更低的情况下,可达到或超过Gemini 2.5 Flash的准确率。

0 人收藏 0 人点赞
#inference-cost

如何通过专门化SLM的词汇表,在实际应用中将推理成本降低77%

Hugging Face Blog ↗ · 2026-10-21 缓存

即将发表的VocabX论文预览:围绕token成本(而非词频)对小型语言模型的词汇表进行专门化,在基于Qwen3-4B构建的葡萄牙语作文评分生产系统中,在不修改基座模型的情况下,实测推理成本降低了77%。

0 人收藏 0 人点赞
#inference-cost

六个月后,最好的AI便宜了20倍

Reddit r/singularity ↗ · 2026-10-21 缓存

对500个AI模型价格与评分的追踪显示,某个分数首次被顶级模型达到后约6个月,达到同等分数的成本通常降至约20分之一,一年后降至105分之一,而顶级模型自身的价格基本持平。

0 人收藏 0 人点赞
#inference-cost

DeepSeek V4.1 Flash:1017 token 效率

Reddit r/LocalLLaMA ↗ · 2026-10-17

用户讨论 DeepSeek V4.1 Flash 的 token 效率表现,初步测试显示在高思考强度下 CoT 更短且质量更高,解决任务所需轮次更少,值得尝试。

0 人收藏 0 人点赞
#inference-cost

在大语言模型上迭代,在小语言模型上部署服务

arXiv cs.AI ↗ · 2026-10-15 缓存

提出「在前沿LLM上迭代开发行为,再蒸馏到小模型(SLM)上线」的两阶段方法:用LoRA微调的Qwen3-8B在家庭护理排班智能体的生产决策上达到0.913一致率,优于教师模型GPT-5.4-nano自身重跑时72.7%的自我一致性,且延迟降低约2.5倍、成本大幅下降。论文已被NeurIPS 2026第二届企业任务智能体基准与应用研讨会(AABA4ET)接收。

0 人收藏 0 人点赞
#inference-cost

LEASH:面向计算机使用智能体的感知不确定性的弱到强升级与监督

Hugging Face Daily Papers ↗ · 2026-10-15 缓存

LEASH 是一个免训练框架,利用隐层不确定性在弱模型与强模型之间按需切换,并在交接后通过影子观察者持续监督强代理,在 OSWorld 上以更低推理成本达到与 Claude Opus 5 相当的成功率。

0 人收藏 0 人点赞
#inference-cost

我的本地 Qwen3.8FN 智能体比云端便宜得多。

Reddit r/LocalLLaMA ↗ · 2026-10-13

一位开发者认为,在用 eBay 上的低价硬件组装的服务器上本地运行 Qwen3.8FN Q4,比使用几乎所有云端模型都便宜(启用缓存的 GPT-6 Luna 和 Claude Haiku 5.5 除外),因此可以让智能体运行更长时间,取得比成本高得难以承受的前沿云端模型更好的结果。

0 人收藏 0 人点赞
#inference-cost

@rohanpaul_ai:从 300 页 PDF 中提取截止日期,不需要一个会写作的模型。决策模型现在支持 100 万 token 窗口,……

X AI KOLs Following ↗ · 2026-10-13 缓存

ScaleDown 发布了三款小型 Constrained Decoding 模型(Classify、Extract、Summarize),支持 1M token 输入窗口和图像输入,通过单次 prefill 直接从输入中选取答案而非逐 token 生成,据称比前沿 LLM API 快 200 倍、便宜 467 倍。

0 人收藏 0 人点赞
#inference-cost

@VraserX: OpenAI 使用其能解出此前未解数学问题的内部模型来改进自身算法……

X AI KOLs Timeline ↗ · 2026-10-13 缓存

据称 OpenAI 使用其能解出此前未解数学问题的内部模型来改进自身算法,将推理成本降低了约 50%,显示出 AI 开始反哺提升自身效率。

0 人收藏 0 人点赞
#inference-cost

EdgeWise:通过选择性云端委派将长时程智能体引入边缘端

Hugging Face Daily Papers ↗ · 2026-10-13 缓存

EdgeWise 是一个边缘-云协作框架,在本地部署小语言模型(SLM)作为主要求解器,并通过强化学习在关键步骤选择性地将任务委派给云端大模型,从而在 SWE-Rebench 上降低高达 62%、在 Terminal-Bench 2.1 上降低 34% 的推理成本,同时保持与纯 LLM 执行相当或更好的性能。

0 人收藏 0 人点赞
#inference-cost

@interjc:CF 发布了 clef-omni,现已支持音频和视频识别。如果决策模型能实现高性价比,其实需求量相当可观……

X AI KOLs Timeline ↗ · 2026-10-10 缓存

Cloudflare 发布 clef-omni,支持音频和视频输入,被用于 PII 检测、恶意域名识别等场景;同时 clef-flash 价格降至每百万输入 token 0.038 美元,具备较高性价比。

0 人收藏 0 人点赞
#inference-cost

当日志中的学习者很少或几乎没有时,System-One 大模型能否完成知识追踪?

arXiv cs.CL ↗ · 2026-10-09 缓存

论文提出用零训练的 System-One LLM(Jev)直接对学习者状态输出答对概率,在无任何目标平台数据时 AUC 达 .706,超过 28 个深度 KT 模型在 8 名学习者上训练的结果以及 System-Two 推理式 KT,且成本仅约 1/100;加入 64-shot 示例和近邻统计后(JevKT)提升至 .722,在约 64 名学习者以内保持领先。

0 人收藏 0 人点赞
#inference-cost

先澄清、再聚焦:面向大规模对话分析的陈述归一化方法

arXiv cs.CL ↗ · 2026-10-09 缓存

该论文提出「先澄清、再聚焦」的声明归一化方法,将对话转化为带来源引用和语义标签的简短陈述,使仅由小模型构成的推理管线能以约100倍更低的成本处理数百万条企业客服对话的分析任务。

0 人收藏 0 人点赞
#inference-cost

@realchendahuang: 三年前大语言模型刚席卷全球时,整个技术圈处于一种既兴奋又处处受限的尴尬状态。 当时整个行业公认有几道极难逾越的技术关卡: 模型的记忆窗口太短,输入稍微长一点就记不住; 底层计算架构太吃算力,长文本计算量呈几何级数爆炸; 调用一次的账单开销…

X AI KOLs Timeline ↗ · 2026-10-06 缓存

一篇回顾大语言模型三年技术演进的深度评论:长上下文处理从RAG转向前缀缓存与百万级上下文窗口,Transformer依然因GPU张量核心的硬件生态胜过线性复杂度的新架构,推理成本靠量化、蒸馏和任务分流平民化,智能体转向渐进披露、命令行沙箱与测试闭环的务实工程路径,而幻觉问题依旧难解。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈