标签
Mr.Chatterbox-2.7B-Chat 是一个完全基于 1800-1899 年英国印刷文本从零训练的 2.7B 语言模型,并用真实维多利亚时代语料微调以维多利亚绅士口吻对话,其微调数据 97.2% 为真实 19 世纪原文。
Muse Wonder(high)在扩展版 NYT Connections 基准测试中取得 93.4 的成绩,超过 Muse Spark 1.3(high)的 85.1,但其成本在受测模型中位居最高之列。
Maxwell-V1.0-Flash 是 Maxwell 团队推出的一款 35B 总参数 / 3B 激活参数的 MoE(Mixture-of-Experts)语言模型,具备 256K 上下文长度,采用 Block Sparse Attention(块稀疏注意力)、流形约束超连接(manifold-constrained hyper-connections)以及针对东南亚语言优化的多语言分词器;基于约 26T token 训练,并通过两阶段 SFT 加多分支强化学习(RL)后训练流程进行优化。
我们推出 Neurograf v1,这是一个实验性的端到端流程,用于从零开始训练以罗马尼亚语为主的语言模型,涵盖一个 635 GB 的语料库、一个词表大小为 8 万的字节级 BPE 分词器、五个仅解码器模型(参数量为 1.6 亿至 60 亿)、经过指令微调的助手以及嵌入模型。Neurograf-6B 在罗马尼亚语 WWTBM 基准测试中取得了 69.89% 的成绩,证明了在统一流程内开发低资源欧洲语言模型的可行性。
论文提出 HexaBee-4B,一个基于 Gemma3 4BIT 通过三阶段训练(维基百科持续预训练、多语言问答与答案翻译联合训练、双向翻译专业化)改编的六语种翻译模型,在阿拉伯语、中文、英语、希伯来语、波斯语和西班牙语全部 30 个翻译方向上相比基线均有 chrF++ 提升。
论文提出 Wieszcz-XIX,一个涵盖 1800–1918 年波兰语的 31 亿词(67.5 亿 token)语料库,并从零训练了参数规模从 47M 到 349M 的时间受限语言模型,展示其在时期词汇上相对现代波兰基座模型的交叉优势,同时发布语料、代码与权重。
该论文提出通过学习索引策略(indexical policies)形式的搜索控制,使规划搜索在多项式空间内完成,代价是时间仅随选择深度指数增长;结合语言模型的反例引导学习循环,在IPC 2023学习赛道等基准上解决了1,709/1,890个测试任务,优于LAMA、BFWS和Levitron。
Percy Liang 报告称 Marin 535B-A23B 模型的训练已过半,并分享了这次大规模训练过程中的一些观察和心得。
祝贺 Reflection AI 发布 Beam,这是一款总参数 501B、激活参数 23B 的高效智能体开源模型,推动了西方开源前沿在编程和智能体任务上的发展。
一位开发者分享了他在构建 Apex-2 过程中的经验教训。Apex-2 是一个小型开源大语言模型,使用约 80B tokens 训练,成本约 2000 美元,涉及 GPU 瓶颈、基于 DiLoCo 风格的 GH200 实例分布式训练,以及对 FineWeb-Edu 和 DCLM 数据集的激进 MinHash 去重。
本文提出了先验拟合语言模型(Prior-Fitted Language Model, PFLM),这是一个3亿参数的字节级Transformer,完全基于合成结构因果模型生成的样本进行预训练,使其能够在权重冻结的情况下通过上下文学习语言,尽管从未接触过任何真实文本。实验结果显示,其自然语言建模能力接近主流水平,并具备算术运算与压缩能力,在多个领域优于gzip/PPMd,这表明模型实现的是语言的元学习,而非记忆。
Ai2 开源科研报告模型 AstaBrief 8B,基于 Qwen3-8B,可一步生成带引用的科研报告,在 ScholarQA-CS2 上引用精度达 90.5,比 Qwen3-8B 基线显著提升,并以 Apache 2.0 协议开放权重与训练数据。
AllenAI 开源了 AstaBrief 8B,该模型专门针对从检索到的文献中生成带引用的科学报告而训练,生成速度约为专有模型的 3.5 倍,同时公开了模型权重、训练数据,以及一套基于本地 PDF 构建报告的可复现工作流。
PSSA是一种新型的非Transformer语言模型,完全从零开始使用Rust实现,采用循环状态空间层和情景记忆,相比Transformer能实现更快的学习和推理。
Claude Sonnet 5.5 作为 Claude 5.5 系列中更快、更低成本的AI模型推出,为日常任务和协作带来性能、速度和效率的显著提升。
这篇论文评估了 Google 的 Gemma 4 模型如何优先处理冲突文档,发现通过平衡实验设计,来源框架显著优于位置偏差。
该推文介绍了一种名为 Self-Play Pretraining with Zero Data 的研究概念,其中两个模型从随机初始化开始,通过在通用图灵机上进行自对弈生成预训练数据。
ThinkingCap 是基于 Qwen 3.6 27B 的微调模型,它将推理标记减少了约50%,同时保持性能,从而在推理中带来显著的效率提升。
本文推导了在硬预算下重复评估中诚实不确定性的精确理论界限,并将其应用于语言模型和智能体基准测试,展示了区间宽度和均方误差(MSE)的实际改进。