transformer

Israeli startup 42AI emerges from stealth with $62.5M in seed funding for a 'behavioral world model' that predicts individual decision probabilities, initially deployed at financial brokerages to forecast trader behavior under volatile conditions.

NVIDIA 发布 Metatron v1，一个统一的 Unitree G1 人形机器人控制策略，将行走、场景交互与恢复整合为单一 MaskedMimic 风格 transformer 学生模型，并提供原生 PyTorch 检查点与 ONNX 浏览器导出。

提出一种基于 Transformer 的 DeepONet（Perceiver 编码器 + 交叉注意力解码器），实现多分辨率下的辐射传输方程（RTE）非仿射重建代理模型，在池火灾数据集上以更少参数超越自编码器基线，并突破仿射重建的理论误差下界。

A minimal, self-contained manual autograd implementation for a transformer-based classifier in PyTorch, designed to build intuition for how autograd works under the hood and how gradients flow through attention blocks.

ConsMSA introduces semantic distribution consistency learning across intra- and inter-modalities for multimodal sentiment analysis, enabling token reweighting and pruning while achieving state-of-the-art results on CMU-MOSI, CMU-MOSEI, and CH-SIMS with only 10% of tokens retained.

A Virginia Commonwealth University paper explores extreme low-state weight quantization (3, 5, 7, 16 states) for Transformer-based electricity-load forecasting, showing that quantization-aware training and accumulated-update thresholding can retain predictive performance while reducing weight updates by ~99.7%.

该论文分析了36年间720万篇计算机科学论文与370万名研究者，发现从AlexNet到Transformer再到大语言模型，每次AI突破虽然提升了领域承载力，却会更集中地攫取注意力、耗尽后续突破所需的多样性，作者呼吁建立保护多元注意力的制度。

MoSAIK 从标准多线圈 TSE k-space 中用 Transformer 直接估计刚体运动参数，并将其用于模型化的运动感知重建，从而在无需外部导航器的情况下快速回顾性校正脑 MRI 运动伪影。

ORBIT 提出了一种统一的深度时间序列生成框架，通过频率层次化 VQ-VAE 和频率带自回归 Transformer 实现从低频到高频的下一频带预测，从而先构建全局时间结构再逐步补充细节，在多个真实基准上达到最先进的性能与更高的推理效率。

A metro-style map of large model learning designed for Chinese readers: with Transformer→GPT-2→Pre-training→ChatGPT→LLaMA→MoE→Reasoning Models as the main line, branching into five side lines — reasoning, training, alignment, architecture, and applications — emphasizing that hands-on implementation of GPT-2 serves as the anchor for understanding all subsequent models.

提出了一种基于Transformer的孟加拉语语音识别与诊断系统，通过声学与文本特征检测痴呆症迹象，并利用Bi-LSTM注意力模型在对话中为患者自动补全未说完的句子，填补了低资源语言在认知障碍分析领域的空白。

论文提出 CogDrills-4D（CogDrift-4D），一种层级式 4D Transformer 多模态框架，通过 18 个月内七次非脚本化交互的行为数据建模时间性行为衰退，用于轻度认知障碍（MCI）早期检测，分类准确率达 0.733±0.13。

A developer turned a CHIP-8 game console into a decoder-only transformer that acts as the game engine itself, executing instructions and rendering frames via next-token prediction—running 118+ games like Pong and Tetris with weights compiled from a circuit rather than trained.

Mistral 发布 Timestral 时间序列基础模型家族（5M/28M/123M/209M 参数），支持零样本预测、单变量与多变量预测及概率输出，209M 版本代码与权重已在 GitHub 和 Hugging Face 开源。

提出了一个用于印度手语识别的混合框架，结合运动学条件自适应GCN与距离感知弹性Transformer，并利用熵驱动SVD采样器提取关键帧，在自建的120类原生ISL数据集上达到89.8%的准确率。

DuET is a dual-encoder transformer that jointly performs MIDI-to-score transcription and beat tracking to improve timing and duration accuracy in expressive piano performance transcription, achieving large MUSTER error reductions on the Gangqinpu dataset.

Mistral AI 发布 Timestral 时间序列基础模型系列（5M/28M/123M/209M），209M 版本在 GIFT-Eval、TIME 和 fev-bench 上实现零样本预测的最先进精度，并开源代码。

DAGFormer 通过联合训练的拓扑预测器全局规划 Transformer 的跨层连接，相比标准 Transformer 及多种路由基线显著降低困惑度并提升下游任务表现。

VLX-Go 提出一种视觉-语言航点策略，通过多阶段多模态训练（视觉-语言对齐、多模态推理、追踪专项化）和在线策略优化，显著提升机器人在干扰物环境中跟踪目标人物的成功率，达到 58.22%，并在对比方法中取得最佳的干扰物与模糊场景追踪成绩。

论文提出 HART，一种混合注意力与 RWKV 的时间序列基础模型，通过交替注意力和 RWKV 模块解决非自回归多步预测中 RWKV-7 的长程退化问题（Placeholder Idling Decay）。仅用 36M 参数（约为 Toto-2.0-1B 的 1/28）在 GIFT-Eval 上达到可媲美的长程 MASE（0.752 vs 0.754）。