@mstockton: 围绕Jev模型的一些未经修饰的想法。自言自语:- 商业中有很多很多问题都是分类问题……

X AI KOLs Timeline 工具

摘要

作者讨论了使用经典机器学习与LLMs处理商业分类和回归问题,评估了Jev模型作为潜在工具,并将其与现有技术如Structured Outputs和DSPy进行比较,重点强调了可访问性和有效性方面的担忧。

围绕Jev模型的一些原始想法。自言自语: - 商业中有很多很多问题都是分类或回归问题。很多公司不知道他们的问题类型可以通过经典机器学习方法解决。他们通常用人员和流程而不是技术来解决。 - 随着LLMs的出现和流行,更多公司开始想'也许我们可以用AI来解决这个!',并使用LLMs来解决分类和回归问题。 - 这在某些方面是好的,因为公司可能自动化了一些手动工作,但在某些方面也是坏的,因为这常常是错误的工具,并且可能不如经典机器学习方法对他们试图做的事情有效。 - 如果有的话,'AI'的流行(对大多数人来说,现在与LLMs同义)导致他们尝试用这种'AI'来解决问题(即使经典方法在知道可用工具/技术的情况下更合适)。 - 有非常成熟的'经典ML'模式来解决他们的问题(例如,XGBoost通常就足够了)。对于这里80%的问题,AutoML现在工作得相当好,只要你的数据是干净的。 - 但经典技术需要你标记数据、训练模型并将模型托管在某个地方。与'调用LLM API'相比,它们不容易使用——并且需要你和你的组织意识到这些技术,并有能力投资它们。 - 由于LLMs,经典ML现在更容易实现。在过去两年中,我使用LLMs构建了许多模型,用于构建经典ML代码、数据清理等——如果没有LLMs的帮助,这将花费我*更长时间*——但仍然比直接将问题交给基于文本的模型更难。 - 围绕LLMs存在一些优秀的模式/技术,可以约束输出用于分类/回归,并使事情更便宜/更高效(Structured Outputs、DSPy、GEPA等)——但对广大受众来说仍然不是超级容易访问(我可以用一只手数出我知道的尝试过DSPy/GEPA的从业者——也许更多使用Structured Outputs)——我希望这类东西能更广泛采用,但也许技术障碍在短期内太高。 - 有了Jev,也许他们抓住了这一点的'UX'。是的,它看起来很像结构化输出,但它更具针对性和直接针对分类/回归——以一种可能更多人会理解的方式,相比于Structured Outputs / DSPy / GEPA。 - 我确实想知道它会有多有效。它感觉非常类似于零样本时间序列的东西,如TimesFM。就像,是的,你可以在没有训练的情况下进行预测,这很酷,但当你看像TimesFM这样的东西时,与监督训练时间序列模型相比(再次,需要专业知识),它似乎不是很好。也许你可以将你的标记数据放在上下文中,这会起作用。 - 但然后我的问题是——如果使用这种零样本分类器/回归器模型需要大量的知识,那么在什么时候,直接使用LLMs帮助你构建经典机器学习模型更好? 感谢阅读我的吐槽。我知道它不有组织,可能也不完全连贯。无论如何,看到新技术在过去几年中拼凑起来的新方法,超级酷。期待追踪Jev的发展,我认为它可能对一些人有用。我肯定计划尝试一下。
查看原文
查看缓存全文

缓存时间: 2026/09/16 10:02

关于Jev模型的一些原始/未经过滤的想法。边想边说:

  • 企业中大量问题本质上是分类或回归问题。但很多公司并不清楚他们遇到的问题完全可以通过经典机器学习方法来解决,反而习惯用人力流程而非技术手段来应对。
  • 随着LLM的兴起与流行,越来越多企业开始想:“或许我们可以用AI来解决这个问题!“于是开始用LLM处理分类和回归问题。
  • 这在某种程度上是好事——企业可能因此实现某些人工操作的自动化;但也不尽如人意,因为LLM往往并非理想工具,在解决特定问题时可能效果甚至不如经典机器学习方法。
  • 某种意义上,当前“AI“(对多数人而言等同于LLM)的流行热潮,促使人们试图用这类“AI“解决问题——即使在更了解现有工具/技术的情况下,经典方法可能更为合适。
  • 实际上已有非常成熟的“经典ML“解决方案能处理这类问题(例如XGBoost通常就足够)。只要数据质量达标,目前AutoML也能很好地解决这类问题中80%的需求。
  • 但经典技术路径需要数据标注、模型训练和部署,使用门槛远高于“调用LLM API“。这要求个人及组织了解这些技术并具备投入实施的能力。
  • 受益于LLM发展,经典机器学习现在实现起来容易了许多。过去两年我用LLM生成经典ML代码、处理数据清洗等,效率比没有LLM辅助时提升显著——不过即便如此,仍比直接将问题丢给文本模型更复杂。
  • 围绕LLM确实存在一些约束分类/回归输出、降低成本并提升性能的优秀模式/技术(如结构化输出、DSPy、GEPA等)。但目前这些技术对大众仍不够普及(我认识的从业者中尝试过DSPy/GEPA的屈指可数——使用结构化输出的或许稍多)。期待这些技术能更广泛普及,但短期内技术门槛可能仍然较高。
  • Jev或许成功打造了这方面的“用户体验“。虽然看起来类似结构化输出,但它更具针对性,直接聚焦分类/回归场景——这种呈现方式可能比结构化输出/DSPy/GEPA更容易被大众理解。
  • 但我仍在思考其实际效果。这有点类似TimesFM等零样本时序预测工具:虽然无需训练即可预测确实很酷,但与需要专业知识的监督式时序模型训练相比效果仍显不足。或许将标注数据作为上下文输入能提升效果?
  • 由此引申出另一个问题:如果使用这类零样本分类/回归模型需要相当多专业知识,到什么程度时,直接利用LLM协助构建经典ML模型反而更优?

感谢阅读我的随想。我知道内容比较散乱且可能逻辑不够严密。无论如何,看到过去几年涌现的新技术能以多种方式组合应用,实在令人兴奋。期待关注Jev的发展,我认为它对部分场景确实实用。我一定会亲自尝试。

相似文章