标签
Maxime Rivest 认为,可以把 4B 参数的专家模型组合成一个真正的专家混合(mixture-of-experts),总参数量达到 10T,从而在边缘硬件上以几乎可以忽略的成本实现前沿级性能——只用少量合成样本微调的小模型,已经足以与前沿系统媲美。
Maxime Rivest 认为,自动化微调是不可避免的趋势,通用模型与专用模型将长期共存。他指出,类似 Jev 的通用模型可能有助于解决训练专用模型时的冷启动数据问题。该帖子引用了一条开源发布的消息:某个微调后的评分(judge)模型表现优于 Jev 和 DeepSeek-V4.1-Flash。
介绍 Iris Ai,一个在消费级硬件上将查询路由至8个专用LLM的系统,通过每次仅激活一个模型和动态模型交换,以低内存实现大模型性能。
本文形式化了自主代理数据工程,其中LLMs作为自主数据工程师,为特定领域策划和优化训练数据,使用GPT-5.2使学生模型性能提升了57.29%。
本文介绍了自主代理数据工程(Autonomous Agentic Data Engineering)这一任务,其中LLM自主执行端到端的数据整理流水线以实现模型特化,并展示了显著的性能提升(例如,GPT-5.2 将学生模型提升了 57.29%)。