on-prem

本文认为，本地AI代理的真正瓶颈并非模型本身，而是控制平面。控制平面经常泄露元数据，且无法访问防火墙后的内部系统。文章强调了定制MCP连接器和完全VPC/本地部署的必要性，才能使此类代理真正可行。

作者参加了在巴黎举办的Mistral AI Now峰会，注意到Mistral从模型公司向全栈AI提供商的转变，重点包括本地部署、专用小模型以及欧洲主权。

Skymizer发布HTX301，一款能够本地运行700B参数大语言模型、拥有高内存和低功耗的PCIE推理卡。