@MaximeRivest:专业化与通用化的连续谱系一直让我着迷。我训练了一个模型,能够接受任意摘要……
摘要
Maxime Rivest 分享了一个训练好的模型,它可以将任意摘要与任意给定的分类体系进行匹配,精度达到 Qwen 27B 和 Jev 级别的超人类水平,而成本和延迟却低了一个数量级,同时他也在思考专业化与通用化之间的权衡。
查看缓存全文
缓存时间: 2026/10/18 23:11
专精与通用的连续谱系一直令我着迷。
我训练了一个模型,它可以接受任意摘要、任意主题或分类体系作为输入,并输出该摘要对应的标签。在通用谱系上,既能接受任意摘要和任意主题,又专精到无法完成其他任何任务,这是一个非常理想的位置。
这使得我能在摘要分类任务上达到 Qwen 27B / Jev 级别的水平——这两个模型都已是超人水平——同时速度快一个数量级、成本也低一个数量级,而不牺牲我在这个特定任务上所期望的“通用性“。
当世界稳定、犯错代价可承受时,选择专精。
当世界在变化、一个糟糕的季度就可能让你出局时,保持广泛。
相似文章
@MaximeRivest:自动化微调正在成为现实。通用模型与专用模型之间永远存在权衡。这种权衡……
Maxime Rivest 认为,自动化微调是不可避免的趋势,通用模型与专用模型将长期共存。他指出,类似 Jev 的通用模型可能有助于解决训练专用模型时的冷启动数据问题。该帖子引用了一条开源发布的消息:某个微调后的评分(judge)模型表现优于 Jev 和 DeepSeek-V4.1-Flash。
MaximeRivest: 这基本上就是我在他们实现之前,自己在家摸索如何实现jev的历程。
作者分享了过去为了在大规模场景下实现高质量的令牌级分类,而探索高效单专家加载方法的经历,呼应了Maxime Rivest关于特定领域专家模型实用性的观点。
@MaximeRivest: 2021年,我训练并发布了一个专门的基于字符的深度神经网络,用于分类科学出版物…
作者讨论了他们2021年用于分类科学出版物的神经网络如何被像Jev和Qwen 27b这样的新AI模型所取代。
1.7B模型在strict-7形式推理上超越Qwen3-8B和Gemma-4-26B - 专业模型蚕食通用模型领域?
TwIL-LM2,一个专门针对形式逻辑翻译微调的1.7B模型,在严格评分基准上超越了更大的通用模型如Qwen3-8B和Gemma-4-26B,突显了专用AI模型在高效推理方面的潜力。
@MaximeRivest:每次用 4B,我们就能达到 10T 参数模型:一个真正的专家混合体。Jev 向我们展示了其实可以相当不错地进行路由……
Maxime Rivest 认为,可以把 4B 参数的专家模型组合成一个真正的专家混合(mixture-of-experts),总参数量达到 10T,从而在边缘硬件上以几乎可以忽略的成本实现前沿级性能——只用少量合成样本微调的小模型,已经足以与前沿系统媲美。