@neural_avb:观看这个45分钟的视频,学习如何创建合成数据集并训练针对狭窄任务的小型(1亿参数)本地语言模型…
摘要
一个45分钟的视频教程,关于创建合成数据集并训练针对狭窄任务的小型(1亿参数)本地语言模型,提供了代码和资源。
观看这个45分钟的视频,学习如何创建合成数据集并训练针对狭窄任务的小型(1亿参数)本地语言模型。
代码、数据集、模型、工具框架均在评论区中。https://t.co/JFpVB1MOMK
查看缓存全文
缓存时间: 2026/05/29 08:00
观看这个45分钟的视频,学习如何创建合成数据集,并训练擅长狭窄任务的小型(1亿参数)本地语言模型。代码、数据集、模型、测试工具均在评论区。https://t.co/JFpVB1MOMK
相似文章
@neural_avb: https://x.com/neural_avb/status/2072294078805684613
本论文介绍了Autodata,这是一种利用智能“数据科学家”AI的方法,通过迭代生成、验证和优化来自动创建高质量合成数据集,该方法特别针对强化学习(GRPO)进行了优化,以提升语言模型的推理能力。
@paulabartabajo_: 给AI工程师的建议 学习本地AI的最佳方式就是用本地AI去构建。过去7个月的7场动手实践网络研讨会。
过去7个月中7场动手实践的开源网络研讨会合集,聚焦于使用本地AI和小型语言模型进行构建,全部在设备端运行。
@neural_avb: 下一个视频是关于训练小型(<1B)模型用于偏好调优。以及如何使用本地模型生成偏好数据集…
宣布即将发布一个关于训练小型模型用于偏好调优的视频,涵盖奖励模型、RLHF、DPO、ORPO,以及Unsloth和TRL的使用。
@j_golebiowski: 从头开始构建任务特定的本地模型需要多长时间:- 25个手写示例(一个下午)- e…
描述了一种工作流程,可以在一天之内使用25个手写示例、合成数据扩展、LoRA微调和量化以在CPU上推理,构建一个任务特定的本地模型。
通过小型语言模型实现AI民主化:面向本地部署的结构化基准测试与参数高效微调
本文在结构化基准上评估了九个开放权重的小型语言模型(参数量135M至3B),并证明参数高效微调显著提升了准确率,使其在结构化小众工作负载的本地部署中具备可行性。