efficient-ai

介绍了Stratum，一种采用3D堆叠DRAM的系统硬件协同设计方法，以高效加速混合专家（MoE）模型。

Reason-ModernColBERT 在 BrowseComp-Plus 上取得了近乎完美的结果，超越了 SOTA 和 54 倍大的模型，随后 Agent-ModernColBERT 通过极少的训练进一步提升了性能。

MiniCPM-V 4.6 是一款专为移动设备优化的极致高效 13 亿参数视觉语言模型。

一门高效AI课程的第12讲笔记，涵盖 Transformer 与 LLM 基础知识，包括多头注意力机制、位置编码、KV 缓存，以及模型架构与推理效率之间的关联。内容阐释了 Transformer 中的设计选择如何影响内存占用、延迟表现和硬件效率。

作者介绍了TOPAS，一种递归AI架构，在单张RTX 4090上达到了ARC-AGI-2的11.67%，旨在证明架构效率可以超越原始计算能力。

一种使用三值权重（-1、0、1）的高效 AI 模型架构，仅需 1.58 比特/参数即可实现具有竞争力的性能，可部署在极度受限的设备上。

MiniCPM-V 4.5 是一款 8B 参数规模的多模态大语言模型，凭借统一的 3D-Resampler 架构、创新的数据策略以及混合强化学习方法，实现了高效率与卓越性能。据悉，该模型在显著降低 GPU 显存占用与推理耗时的同时，综合表现已超越更大规模的闭源及开源标杆模型。