@QuixiAI：宣布推出QuixiAI/SYN-1B——一个合成预训练数据集，旨在教导模型跟踪规则、更新信念……

X AI KOLs Timeline 工具
synthetic-dataset pretraining rule-tracking belief-updating long-context open-source huggingface

摘要

QuixiAI发布SYN-1B，这是一个合成预训练数据集，旨在教导模型在长上下文中的规则跟踪、信念更新和证据保留，可在Hugging Face上获取。

宣布推出QuixiAI/SYN-1B——一个合成预训练数据集，旨在教导模型跟踪规则、在修正后更新信念、在长上下文中保留证据、忽略合理的干扰项，以及迁移超越记忆表面形式的抽象状态更新模式。🆀发布在@huggingface上。
查看原文

相似文章

@neural_avb: https://x.com/neural_avb/status/2072294078805684613

X AI KOLs Timeline

本论文介绍了Autodata，这是一种利用智能“数据科学家”AI的方法，通过迭代生成、验证和优化来自动创建高质量合成数据集，该方法特别针对强化学习（GRPO）进行了优化，以提升语言模型的推理能力。

推出 SimpleQA

OpenAI Blog

OpenAI 推出 SimpleQA，一个新的事实性基准数据集，包含 4,326 个简短事实性问题，旨在评估前沿语言模型在提供准确答案而不产生幻觉的能力。该数据集通过双独立标注、严格标准实现高质量，估计错误率仅为 ~3%，GPT-4o 得分不到 40%。

制作用于微调的合成数据集

Reddit r/LocalLLaMA

作者提出了一种使用形式求解器为LLM生成多样化合成推理训练数据的流程，并询问现有工作以及关于避免重复模板的建议。