@rohanpaul_ai：开源与类型安全 AI 在 TypeLLM 中相遇。聊天模型给你一个回复，决策模型给你一个选择，但 T…

X AI KOLs Following 工具
open-source type-safety constrained-decoding json-schema llm-workflows sglang

摘要

TypeLLM 开源发布，通过 JSON Schema 将整个大语言模型工作流建模为依赖图，并基于 SGLang 的约束解码在单次 API 调用中执行，实现类型安全、符合模式约束的输出，无需修改 Qwen 等模型的权重。

开源与类型安全 AI 在 TypeLLM 中相遇。 聊天模型给你回复，决策模型给你选择，而 TypeLLM 旨在通过一次 API 调用运行你的整个工作流。 大多数生产环境中的处理流水线需要介于两者之间的能力：多个具有明确类型的答案，其中一些依赖其他答案，还有一些仅应在特定条件下存在。 TypeLLM 将这一完整结构作为一个 JSON Schema 接收，并在单一共享上下文中以依赖图的形式执行。 以开放方式构建的类型化 LLM 输出。 无需修改模型权重，你就能从原版 Qwen 检查点获得保证符合模式的输出。 这一保证来自请求的构建和解码方式。 TypeLLM 基于 SGLang，将 JSON Schema 转化为受约束解码：枚举或布尔值使用单个经过评分的 token，数字使用受限的数字位，并通过依赖图复用缓存的前缀。 因此，字段无法返回其枚举范围之外的值，因为解码器只考虑允许的候选项。
查看原文
查看缓存全文

缓存时间: 2026/10/15 22:17

开源与类型安全的 AI，在 TypeLLM 相遇。

聊天模型给你回复，决策模型给你选择，而 TypeLLM 旨在通过一次 API 调用运行你的整个工作流。

大多数生产环境中的流水线需要介于两者之间的能力：多个具有明确类型的答案，其中一些依赖于其他答案，还有一些只应在特定条件下存在。

TypeLLM 将这一完整结构作为一个 JSON Schema 接收，并在同一个共享上下文中，将其作为依赖图执行。

以开放方式构建的类型化 LLM 输出。

无需修改模型权重，你就能从原版 Qwen 检查点获得保证符合模式的输出。

这一保证源于请求的构建和解码方式。

TypeLLM 基于 SGLang，将 JSON Schema 转化为受约束解码：枚举值或布尔值使用单个经过评分的 token，数字使用限定范围的数位，并通过依赖图复用缓存的前缀。

因此，字段无法返回枚举范围之外的值，因为解码器只会考虑允许的候选值。

TypeLLM (@TypeLLM)： 聊天模型返回消息。

决策模型返回决策。

工作流模型执行工作流。

TypeLLM 推出首个工作流模型。只需一次 API 调用，即可运行整个工作流。

更简单、更快、更便宜。

立即试用：

相似文章

@mem0ai: https://x.com/mem0ai/status/2107873474517889201

X AI KOLs Following

Jev-Mem：一篇来自UT Dallas的论文提出用TypeSafe AI的Jev结构化输出模型替代LLM来处理智能体记忆系统中的大量小型决策（如记忆分类、关联判断、检索停止条件），仅在最终生成答案时才调用LLM，从而显著降低token开销。