标签
讨论指出 DeepSeek 开源的 DeepInfer 是为 DeepSeek 4.1F 深度定制的推理框架,其 KV cache 极度优化(每 token 仅 890 字节),因此任务调度完全无需考虑显存容量;相比之下 Kimi 系列模型 KV cache 开销高出 15-30 倍,导致推理性能和用户体验不佳。
Show HN:STROT,一个开源「决策编译器」,用 LLM 编译一次意图,之后在本地以 144M 小模型零成本执行分类、评分与路由决策,附带校准与置信度门控保证。
作者介绍了 Flama——一个将机器学习模型和大语言模型视为一等公民的 Python 框架。八年来,它从模型部署发展到在 2.0 版本中支持大语言模型,作者还与 Miguel Durán-Olivencia 一起将整体架构写成了一篇 83 页的 arXiv 论文。模型被打包为单个 .flm 文件,支持 vLLM/MLX 后端以及 OpenAI、Anthropic、Ollama 等多种协议。
哈佛开源教材《Machine Learning Systems》源自 CS249R,涵盖 ML 系统的构建与部署——从单机部署到分布式训练、数据、部署与监控——并附带 TinyTorch,一个约 20 个模块的框架,让你从张量开始搭建一个最小可训练系统。
一位教育者描述了在人工智能工具如GPT-3能完成作业后,他们如何重新设计其机器学习生产课程的评估方式,将重点转向互动、考试和演示,同时允许使用AI。
一位有志于AI工程师职位的开发者向资深从业者请教:什么样的项目作品集最能体现生产环境技能?他提出了LLM路由服务、带防护机制的智能体系统、本地推理微服务等方向,并询问作品集中常见的不足之处。
本文解释了 DevOps、MLOps 和 LLMOps 之间的关键区别,突出了每种方法在软件开发、机器学习和 LLM 应用中如何应对独特的挑战,并重点关注 LLMOps 中的监控和优化。
Santiago Valdarrama 重点介绍了一个用于构建、评估、部署和监控专用 AI 模型的端到端系统,并指出尽管基础模型广受欢迎,企业仍愿意为定制的微型模型支付高昂费用。
推文推荐两本机器学习书籍:《管理机器学习项目:从设计到部署》和《机器学习设计模式》,并详细描述了前者的项目管理技巧。
vast.ai 现在支持将 Hugging Face Storage Buckets 作为云连接,允许租用的 GPU 实例直接从 HF 存储桶拉取数据集和检查点,并将结果推送回去,无需手动传输。
本文介绍了“评估盲区”(evaluation blindness),这是一个用于描述从训练到部署过程中破坏AI系统的静默测量失败的正式框架,包含案例研究、基于50个真实事件验证的失败分类法,以及失败预算框架。
AIGen是一个模块化工具,通过整合MLOps框架与大型语言模型(LLM),自动生成符合SPDX 3.0标准的AI物料清单(AIBoM),实现透明的AI供应链治理与法规合规。
Anaconda 强调 Metaflow 的设计理念和核心功能,突出其简洁性、可组合性以及面向生产 ML/AI 工作流的企业级能力。
作者提出一个正式的训练前控制层,用于审计训练数据工件,并基于明确标准给出判定(通过/不通过),作为数据准备与训练之间缺失的门控,并邀请讨论其实用性。
NVIDIA 推出 ModelExpress,一种用于快速分发 AI 模型工件的解决方案,如其技术博客所述。
宣布 Ray Summit 2026,与 vLLM 联合呈现,将于8月24日至26日在旧金山举行。完整议程已上线,涵盖基础模型训练、多模态流水线和大规模强化学习等主题。
成为AI/ML工程师所需学习主题的详细路线图,涵盖数学基础、深度学习架构、训练技巧、数据管道、评估、推理、MLOps和负责任AI。