mamba-transformer

NVIDIA发布了Nemotron 3开放模型，提供了Nano、Super、Ultra三种尺寸，通过混合Mamba Transformer、潜在MoE和多token预测等架构创新优化硬件效率，并采用Open MDW 1.1开放许可协议。