标签
一位律师兼 PLI Labs 创始人公布了完整的基准测试数据：在两台 DGX Spark 上运行 DeepSeek-V4.1-Flash-1017（2.75 bpw EXL3），并由一台搭载 3090 的主机负责通过 RDMA 提供的表以及推测解码草稿模型，在上下文长度高达 256K 时实现超过 2,600 tok/s 的预填充速度，结构化输出速度达到 322 tok/s。所有代码、启动脚本和原始 JSON 均已公开，作者也坦率指出了自己的配置在哪些方面不如其他双 Spark 配置。
# 用于金融审批智能体的"第二意见"审核模式 本文作者描述了一种应用于金融审批场景智能体的"第二意见"（second-opinion）审核模式，并对 webAI 推出的新型纯逻辑模型 TwIL-LM3 Pro（3.66B 参数）进行了评测。 该模型的逻辑推理得分与 Qwen3-8B 相当，但参数规模不到后者的一半，并且可以完全在本地运行，从而保障数据隐私。
本文认为，本地AI代理的真正瓶颈并非模型本身，而是控制平面。控制平面经常泄露元数据，且无法访问防火墙后的内部系统。文章强调了定制MCP连接器和完全VPC/本地部署的必要性，才能使此类代理真正可行。
作者参加了在巴黎举办的Mistral AI Now峰会，注意到Mistral从模型公司向全栈AI提供商的转变，重点包括本地部署、专用小模型以及欧洲主权。
Skymizer发布HTX301，一款能够本地运行700B参数大语言模型、拥有高内存和低功耗的PCIE推理卡。