标签
一位开发者将 CHIP-8 游戏机变成了一个仅解码器 Transformer,让模型本身充当游戏引擎,通过下一个 token 预测来执行指令并渲染画面,能够运行《乒乓》和《俄罗斯方块》等 118 款以上的游戏,而其权重是从电路编译而来,并非通过训练获得。
Mistral 发布 Timestral 时间序列基础模型家族(500 万/2800 万/1.23 亿/2.09 亿参数),支持零样本预测、单变量与多变量预测及概率输出,2.09 亿参数版本的代码与权重已在 GitHub 和 Hugging Face 开源。
提出了一个用于印度手语识别的混合框架,结合运动学条件自适应GCN与距离感知弹性Transformer,并利用熵驱动SVD采样器提取关键帧,在自建的120类原生ISL数据集上达到89.8%的准确率。
DuET 是一种双编码器 Transformer,联合执行 MIDI 到乐谱的转录与节拍跟踪,以提升富有表现力的钢琴演奏转录中的时序和时值准确性,在钢琴谱数据集上实现了显著的 MUSTER 误差降低。
Mistral AI 发布 Timestral 时间序列基础模型系列(5M/28M/123M/209M),209M 版本在 GIFT-Eval、TIME 和 fev-bench 上实现零样本预测的最先进精度,并开源代码。
DAGFormer 通过联合训练的拓扑预测器全局规划 Transformer 的跨层连接,相比标准 Transformer 及多种路由基线显著降低困惑度并提升下游任务表现。
VLX-Go 提出一种视觉-语言航点策略,通过多阶段多模态训练(视觉-语言对齐、多模态推理、追踪专项化)和在线策略优化,显著提升机器人在干扰物环境中跟踪目标人物的成功率,达到 58.22%,并在对比方法中取得最佳的干扰物与模糊场景追踪成绩。
论文提出 HART,一种混合注意力与 RWKV 的时间序列基础模型,通过交替注意力和 RWKV 模块解决非自回归多步预测中 RWKV-7 的长程退化问题(占位符空闲衰减)。仅用 36M 参数(约为 Toto-2.0-1B 的 1/28)在 GIFT-Eval 上达到可媲美的长程 MASE(0.752 对比 0.754)。
作者训练了一个拥有 41.4 万个参数、从零实现的 Transformer 来模仿 boids 鸟群行为,并用线性探针研究模型内部对三条 boids 规则的表征是否与其实际使用的机制一致。研究发现,聚合规则在训练前即可被读出,对齐规则依赖第二个注意力层,而首次训练的模型实际上并未利用鸟群信息。
TypeSafe AI是非文本AI模型Jev的开发商,在推出仅数周后便以75亿美元的估值完成了8.7亿美元的融资,由Andreessen Horowitz领投,Sequoia和DCVC参投。Jev输出的是经过校准的决策概率而非文本,据称比大语言模型(LLM)速度更快、token效率更高得多,据报道财富500强企业中已有三分之一在使用该模型。
该论文提出了一种基于 Transformer 的文本自编码器,采用残差式下采样/上采样和离散瓶颈结构,在网络文本上实现了每字节 2.24 比特的压缩率——这是文献中文本自编码器所达到的最高压缩率——同时保持了出色的重建质量和下游任务性能。
提出一种基于轻量级时序Transformer CAN编码器与联邦学习轻量头部的隐私保护框架,用于检测车内网络中的细微时序与上下文异常,无需交换原始CAN数据即可提升共享模型。
语音事件检测器:一个拥有 580 万参数的卷积-Transformer 模型,可输出 54 类语音/背景事件带时间戳的概率,并通过后处理将其合并到 Whisper 转录文本中。该模型使用七个统一整合的公共数据集进行训练,并采用合成数据增强,在 CPU 上的运行速度达到实时速度的 39 倍。
Moonworks 发布 Lunara 论文,提出一种激活参数量低于 10B 的 Diffusion Mixture Transformer 架构,用于图像生成中的艺术智能建模,并在 GPT-5.6 Sol 评测及人工盲评中取得最佳审美质量得分。
EngramEdit 提出一种通过条件记忆(conditional memory)实现 LLM 解耦知识更新的方法,联合更新共享 n-gram 嵌入以实现近乎完美的编辑成功率,在多跳推理中达到最强基线近三倍的准确率,同时保留无关知识与通用能力。
一位独立研究者分享了他的本地 AI 世界模型第二部分:一个约 960M 参数的 transformer,使用 diffusion forcing 和文本交叉注意力,在 RTX 5090 上以 30-60 FPS 运行,接受实时 WASD 操作,并支持在生成中途切换文本提示(例如"给沙漠加一个池塘")。
一个后续项目:一个仅有 31K 参数的 encoder-only Transformer,仅使用合成 T1DM 模拟器数据训练,即可零样本预测真实 CGM 数据中的血糖水平,并通过 LoRA 微调和 ExecuTorch 部署在 Android 应用中。
LiteEMG-FM 是一种高效的混合 CNN-Transformer 基础模型,基于 16 个肌电(EMG)数据集进行预训练,可实现鲁棒的零标定手势识别。论文通过分层唤醒门机制展示了其在资源受限边缘设备上的实时部署能力,并评估了不同卸载范式下的延迟、功耗与内存开销的权衡。
Prism提出一种动态稀疏注意力框架,用于在原生2K分辨率下训练联合视频-音频生成模型。该方法通过将token序列组织为时空宏区域,并结合音频-视频跨模态信号自适应地为每个区域分配注意力块的形状,实现了相比全注意力2.5倍的训练加速,同时生成质量更优。
论文提出STCFormer,一种自适应时空Transformer,通过聚类引导注意力模块(Cluster-Guided Attention Block)在每个时间片上对气象站进行动态聚类,该模块结合了局部簇内注意力与全局区域摘要,在全部八项温度与风速预报任务中取得了最低的24小时MSE。