@mstockton: 围绕Jev模型的一些未经修饰的想法。自言自语:- 商业中有很多很多问题都是分类问题……
摘要
作者讨论了使用经典机器学习与LLMs处理商业分类和回归问题,评估了Jev模型作为潜在工具,并将其与现有技术如Structured Outputs和DSPy进行比较,重点强调了可访问性和有效性方面的担忧。
查看缓存全文
缓存时间: 2026/09/16 10:02
关于Jev模型的一些原始/未经过滤的想法。边想边说:
- 企业中大量问题本质上是分类或回归问题。但很多公司并不清楚他们遇到的问题完全可以通过经典机器学习方法来解决,反而习惯用人力流程而非技术手段来应对。
- 随着LLM的兴起与流行,越来越多企业开始想:“或许我们可以用AI来解决这个问题!“于是开始用LLM处理分类和回归问题。
- 这在某种程度上是好事——企业可能因此实现某些人工操作的自动化;但也不尽如人意,因为LLM往往并非理想工具,在解决特定问题时可能效果甚至不如经典机器学习方法。
- 某种意义上,当前“AI“(对多数人而言等同于LLM)的流行热潮,促使人们试图用这类“AI“解决问题——即使在更了解现有工具/技术的情况下,经典方法可能更为合适。
- 实际上已有非常成熟的“经典ML“解决方案能处理这类问题(例如XGBoost通常就足够)。只要数据质量达标,目前AutoML也能很好地解决这类问题中80%的需求。
- 但经典技术路径需要数据标注、模型训练和部署,使用门槛远高于“调用LLM API“。这要求个人及组织了解这些技术并具备投入实施的能力。
- 受益于LLM发展,经典机器学习现在实现起来容易了许多。过去两年我用LLM生成经典ML代码、处理数据清洗等,效率比没有LLM辅助时提升显著——不过即便如此,仍比直接将问题丢给文本模型更复杂。
- 围绕LLM确实存在一些约束分类/回归输出、降低成本并提升性能的优秀模式/技术(如结构化输出、DSPy、GEPA等)。但目前这些技术对大众仍不够普及(我认识的从业者中尝试过DSPy/GEPA的屈指可数——使用结构化输出的或许稍多)。期待这些技术能更广泛普及,但短期内技术门槛可能仍然较高。
- Jev或许成功打造了这方面的“用户体验“。虽然看起来类似结构化输出,但它更具针对性,直接聚焦分类/回归场景——这种呈现方式可能比结构化输出/DSPy/GEPA更容易被大众理解。
- 但我仍在思考其实际效果。这有点类似TimesFM等零样本时序预测工具:虽然无需训练即可预测确实很酷,但与需要专业知识的监督式时序模型训练相比效果仍显不足。或许将标注数据作为上下文输入能提升效果?
- 由此引申出另一个问题:如果使用这类零样本分类/回归模型需要相当多专业知识,到什么程度时,直接利用LLM协助构建经典ML模型反而更优?
感谢阅读我的随想。我知道内容比较散乱且可能逻辑不够严密。无论如何,看到过去几年涌现的新技术能以多种方式组合应用,实在令人兴奋。期待关注Jev的发展,我认为它对部分场景确实实用。我一定会亲自尝试。
相似文章
Jev 不是 LLM 杀手,也不仅仅是一个分类器。我们将其部署于生产环境并与真实用户一起使用。以下是我们学到的经验。
文章分享了使用 Jev(一个语义决策引擎)的生产见解,它通过与 LLMs 并行高效处理常规决策来增强 AI 代理系统,而不替代生成模型。
基于JEV的LLM自适应思考
一个开源实验,将杰文斯式(JEV)逻辑应用于LLM,使其思考过程自适应:模型逐词测量熵值,仅在不确定性较高时触发额外的并行思考块,并通过树搜索选择最佳分支。特别适合运行本地模型的用户,他们可以利用并行解码流来发挥优势。
LLM-as-Jev:LLM 本身就是 Jev 式决策模型——何时以及如何对其进行微调
论文提出了 LLM-as-Jev,一种保留原有架构的框架,可从 LLM 的下一词元概率中提取经过校准的决策分布,并表明现代 LLM 本身就是有效的 Jev 式决策模型:微调在较弱模型和特定任务上能带来针对性的提升,而 KL 锚定则可防止对话生成性能退化。
Jev introduces a new shape of LLM - System One, aka Decision Models
Jev是由TypeSafe AI推出的一款新型AI模型,归类为System One或决策模型,其输出浮点数用于垃圾邮件检测、排名等分类任务,并具有竞争力的定价。
@paarangatrai: 这是理解Jev的最简单方式:大语言模型生成答案。Jev做出决策。这听起来像是一个小小的区别……
这篇文章介绍了Jev,一个旨在做出决策而非生成答案的AI模型,使用结构化输出用于欺诈检测和风险评估等应用,将其定位为大型推理模型的路由层。