on-prem

作者参加了在巴黎举办的Mistral AI Now峰会，注意到Mistral从模型公司向全栈AI提供商的转变，重点包括本地部署、专用小模型以及欧洲主权。

Skymizer发布HTX301，一款能够本地运行700B参数大语言模型、拥有高内存和低功耗的PCIE推理卡。