@neal_k_patel：你已经把答案给大模型了，为什么它还要从头开始写？全新AI模型架构：……

X AI KOLs Timeline 模型
constrained-decoding llm-inference model-architecture efficiency api launch multimodal

摘要

介绍了约束解码模型（Constrained Decoding Models，CDMs），这是一类全新的AI模型架构（分类、抽取、摘要），跳过逐token生成过程，实现更快、更低成本的结果——相比前沿大模型API速度提升200倍、成本降低467倍，现已上线OpenRouter、Vercel、LiteLLM和LangChain。

你已经把答案给大模型了，为什么它还要从头开始写？ 全新AI模型架构亮相：约束解码模型（Constrained Decoding Models，CDMs） 大模型是为「写作」而生的。而大多数生产场景只需要一个答案：快速、一致、低成本。 CDMs 每个模型专为一项任务而设计。它们只需读取一次输入，就跳过了让大模型又慢又贵的逐token生成循环。 不止一个决策模型，而是一个包含3个CDM的模型家族，现已上线： • **分类（Classify）**：定义你的标签，即可获得每个标签的校准概率及理由。适用于路由、打标和意图检测。 • **抽取（Extract）**：用自然语言描述你要提取的实体，即可获得格式良好的JSON，附带置信度评分和引用来源。适用于网页抓取、文档处理和PII脱敏。 • **摘要（Summarize）**：传入长文本、图片或PDF，即可获得一致的1000 token以内的摘要。适用于上下文压缩、元数据生成和转录摘要。 为生产环境而打造： • 支持100万token的多模态（文本+图片）输入，是Jev的31倍 • 在DecisionBench上得分77.2%，高于Jev的72% • 比前沿大模型API快200倍，成本降低467倍 • 输入token仅需$0.05/百万。输出完全免费（没错，摘要也是） 现已在你常用的平台上上线： @OpenRouter @vercel_dev @LiteLLM @LangChain @TrustedRouter @itsArthurAI @useRouterPlus 点击下方链接，前50小时内可免费获得5000万输入token 👀
查看原文
查看缓存全文

缓存时间: 2026/10/13 13:44

你已经把答案给大模型了。那它为什么还要从头开始写？

推出一种全新的 AI 模型架构：受约束解码模型（CDMs）

LLM 天生就是用来“写“的。但大多数生产环境只需要一个答案：快、稳定、便宜。

CDM 是为单一任务专门打造的模型。它只读取一次输入，跳过了让 LLM 又慢又贵的逐 token 生成循环。

不只是一个决策模型，目前已有 3 款 CDM 上线：

  • Classify（分类）：定义你的标签，返回每个标签的校准概率 + 分类理由。适用于路由、打标和意图识别。
  • Extract（抽取）：用自然语言描述你要提取的实体，返回格式良好的 JSON，附带置信度 + 引用来源。适用于网页抓取、文档处理和敏感信息脱敏。
  • Summarize（摘要）：输入长文本、图片或 PDF，返回 1,000 token 以内的一致性摘要。适用于上下文压缩、元数据生成和转录要点提取。

为生产环境而生：

  • 100 万 token 的多模态（文本 + 图片）输入，是 Jev 的 31 倍
  • DecisionBench 上达到 77.2%，高于 Jev 的 72%
  • 速度提升 200 倍，成本降低 467 倍（对比前沿 LLM API）
  • 输入仅 $0.05/百万 token。输出免费（没错，摘要也免费）

现已上线你常用的平台： @OpenRouter @vercel_dev @LiteLLM @LangChain @TrustedRouter @itsArthurAI @useRouterPlus

前 50 小时内免费获得 5,000 万输入 token，点击下方链接 👀

相似文章

不要让LLM说话，直接探测它（8分钟阅读）

TLDR AI

本文介绍了一种技术，该技术从LLM的最后一个提示标记处提取隐藏状态，无需文本生成即可进行分类，使用一个小型MLP读取模型的内部决策，从而实现快速且廉价的零样本分类器。