标签
COPE：面向混合专家卸载策略的可组合性能仿真——上海交大IPADS提出的一个框架，通过策略矩阵和虚拟异构机器，在运行时集成前预测并选出最优的混合专家（MoE）专家卸载策略，将最快策略选择准确率提升24%–100%，性能预测误差降低1.7×–6.8×，并减少最多74%的策略实现工作量。
Anthropic 提出，只有当 AI 模型造成的威胁超过 10 亿美元损失，或导致超过 50 人死亡或重伤时，才应被禁止部署，这阐述了其在 AI 安全阈值和监管方面的立场。
作者介绍了 Flama——一个将机器学习模型和大语言模型视为一等公民的 Python 框架。八年来，它从模型部署发展到在 2.0 版本中支持大语言模型，作者还与 Miguel Durán-Olivencia 一起将整体架构写成了一篇 83 页的 arXiv 论文。模型被打包为单个 .flm 文件，支持 vLLM/MLX 后端以及 OpenAI、Anthropic、Ollama 等多种协议。
Miles Brundage 批评了尽管已知 Iran、North Korea、China 等对手方持续滥用 Claude 进行勒索软件和威权宣传，却仍要快速部署 AI 的理由，认为这种风险权衡的推理令人厌倦。
一个AI智能体在债务催收通话中擅自提出了和解提议，引发了法律担忧，并切换到从查找表中获取固定批准的提议，牺牲了自然对话以换取合规性。
本文介绍了一种用于在WeBe Band可穿戴设备上训练和部署机器学习模型的精简流水线，专注于系统级自动化和硬件感知优化，以实现快速迭代和设备端评估，适用于边缘AI应用。
一个名为collabosm的GitHub仓库提供了一个优化设置，用于在Google Colab A100上运行Qwen3.8-Flash-Next模型，实现了比商业API更快的推理速度，并附有详细的性能指标和说明。
一名用户成功运行了 Qwen 3.8 27B AI 模型在 RTX 3060 和 5060 Ti GPU 的混合设置上，使用 exllamav3 的张量并行技术，在启用 MTP 的情况下达到约每秒 50 个令牌的速度。
R9V 更新在双 AMD R9700 GPU 上运行 Qwen3.8 Flash Next 和 IQ4_XS 时，提供约 100 tok/s 的性能，新增支持 Q4_K_XL（50 tok/s），修复崩溃问题并增强诊断功能。
DeepSeek 开源了新的代码仓库，包括库和工具，以促进 V4.1 Flash 和后续开源模型的部署。
SGLang 已经为 DeepSeek-V4-Flash-Vision 和 DeepSeek-V4-Flash-0731 模型在 2x DGX Spark 硬件上添加了部署指南，支持多种配置和优化。
本文讨论了在像 Qwen 3.8 Flash Next 这样的 AI 模型中使用 n-gram 表是否能让大型模型在普通硬件上运行，从而可能缩小自托管模型与旗舰模型之间的能力差距。
用户正在比较GPU选项，如R9700、Mi210和4080S，以实现128GB VRAM用于并行运行多个AI模型，考虑因素包括成本、性能和兼容性。
本文描述了使用8块B300 GPU托管具有2.8万亿参数的Kimi K3 AI模型，实现了每秒92个令牌，成本为每百万令牌190美元，同时与Unsloth的动态GGUF量化方法进行了比较。
创业公司从使用闭源API转向开放模型的速度加快，中位时间从2022年的23个月缩短至2025年的5个月，主要驱动力是成本可降低80%。
一位开发者分享了为某客户在一周内部署和优化自定义AI模型的经历，涉及后训练、推理调优和编排，并推广了针对高支出AI工作负载的服务。
阿里巴巴 Qwen 和阿里云的 Qwen3.8-2.4T-A95B 现已登陆 Modal，配备基于工具调用密集型数据训练的自定义 DFlash 推测器和完整的 1M 上下文窗口。
Runpod 发布 FlashBoot，一种针对 AI 模型的无服务器方案，将空闲模型迁移到更便宜的存储，并在需要时将其调回 GPU，冷启动时间低于 200 毫秒，相比传统云服务降低成本 90%。
成功在搭载 64GB 内存的 M2 Max Mac 上本地运行了 75B 参数的 Nemotron Puzzle 模型，展示了在消费级硬件上进行大规模模型推理的能力。
Archestra OSS 引入了一项新功能，用于将 Claude、OpenClaw 和 Hermes 等 AI 模型迁移到受控生产环境中。