mlops

标签

Cards List
#mlops

@Necokeine: 大家不是做MaaS的可能不清楚,DeepSeek开源的DeepInfer其实是一个非常为DeepSeek 4.1F非常深度定制的。 我举个例子,DeepInfer的任务摊派是完全不考虑显存容量的,为什么呢?因为DS 4.1F的KV极度优化…

X AI KOLs Following ↗ · 2026-10-25 缓存

讨论指出 DeepSeek 开源的 DeepInfer 是为 DeepSeek 4.1F 深度定制的推理框架,其 KV cache 极度优化(每 token 仅 890 字节),因此任务调度完全无需考虑显存容量;相比之下 Kimi 系列模型 KV cache 开销高出 15-30 倍,导致推理性能和用户体验不佳。

0 人收藏 0 人点赞
#mlops

Show HN:Strot – 一次编译 LLM 意图,本地永久执行决策

Hacker News Top ↗ · 2026-10-19 缓存

Show HN:STROT,一个开源「决策编译器」,用 LLM 编译一次意图,之后在本地以 144M 小模型零成本执行分类、评分与路由决策,附带校准与置信度门控保证。

0 人收藏 0 人点赞
#mlops

Flama:历时 8 年打造将机器学习模型和大语言模型视为一等公民的 Python 框架,现已在 arXiv 上发表论文 [P]

Reddit r/MachineLearning ↗ · 2026-10-13

作者介绍了 Flama——一个将机器学习模型和大语言模型视为一等公民的 Python 框架。八年来,它从模型部署发展到在 2.0 版本中支持大语言模型,作者还与 Miguel Durán-Olivencia 一起将整体架构写成了一篇 83 页的 arXiv 论文。模型被打包为单个 .flm 文件,支持 vLLM/MLX 后端以及 OpenAI、Anthropic、Ollama 等多种协议。

0 人收藏 0 人点赞
#mlops

@GYLQ520:模型训练啃了一大堆,可真到上线的时候,我连从哪开始都不知道……

X AI KOLs Timeline ↗ · 2026-09-30 缓存

哈佛开源教材《Machine Learning Systems》源自 CS249R,涵盖 ML 系统的构建与部署——从单机部署到分布式训练、数据、部署与监控——并附带 TinyTorch,一个约 20 个模块的框架,让你从张量开始搭建一个最小可训练系统。

0 人收藏 0 人点赞
#mlops

在人工智能能完成所有作业后,我的教学调整

Hacker News Top ↗ · 2026-09-24 缓存

一位教育者描述了在人工智能工具如GPT-3能完成作业后,他们如何重新设计其机器学习生产课程的评估方式,将重点转向互动、考试和演示,同时允许使用AI。

0 人收藏 0 人点赞
#mlops

资深/首席AI工程师:究竟哪种项目作品集能让你确信“此人懂生产环境”?

Reddit r/AI_Agents ↗ · 2026-09-23

一位有志于AI工程师职位的开发者向资深从业者请教:什么样的项目作品集最能体现生产环境技能?他提出了LLM路由服务、带防护机制的智能体系统、本地推理微服务等方向,并询问作品集中常见的不足之处。

0 人收藏 0 人点赞
#mlops

@_avichawla:DevOps vs. MLOps vs. LLMOps,清晰解释:许多团队试图将 DevOps 实践应用于 LLM 应用程序。但 DevOps…

X AI KOLs Timeline ↗ · 2026-08-23 缓存

本文解释了 DevOps、MLOps 和 LLMOps 之间的关键区别,突出了每种方法在软件开发、机器学习和 LLM 应用中如何应对独特的挑战,并重点关注 LLMOps 中的监控和优化。

0 人收藏 0 人点赞
#mlops

@svpino:这看起来很有意思:一个端到端的系统,用于构建、评估、部署、监控并持续改进你的……

X AI KOLs Timeline ↗ · 2026-08-11 缓存

Santiago Valdarrama 重点介绍了一个用于构建、评估、部署和监控专用 AI 模型的端到端系统,并指出尽管基础模型广受欢迎,企业仍愿意为定制的微型模型支付高昂费用。

0 人收藏 0 人点赞
#mlops

@KirkDBorne:管理机器学习项目:从设计到部署:http://amzn.to/4vTeq7K +以及+ 机器学习设计模式…

X AI KOLs Timeline ↗ · 2026-08-10 缓存

推文推荐两本机器学习书籍:《管理机器学习项目:从设计到部署》和《机器学习设计模式》,并详细描述了前者的项目管理技巧。

0 人收藏 0 人点赞
#mlops

@DailyDoseOfDS_:生产环境中测试ML模型的4种策略:

X AI KOLs Timeline ↗ · 2026-08-09 缓存

分享一个在生产环境中测试机器学习模型的策略链接,面向ML从业者。

0 人收藏 0 人点赞
#mlops

@julien_c: “你的数据托管在 Hugging Face 上。你的计算运行在 Vast GPU 上。”我太喜欢了!!

X AI KOLs Timeline ↗ · 2026-08-06 缓存

vast.ai 现在支持将 Hugging Face Storage Buckets 作为云连接,允许租用的 GPU 实例直接从 HF 存储桶拉取数据集和检查点,并将结果推送回去,无需手动传输。

0 人收藏 0 人点赞
#mlops

评估盲区:静默测量失败如何从训练到部署破坏AI系统

arXiv cs.LG ↗ · 2026-08-05 缓存

本文介绍了“评估盲区”(evaluation blindness),这是一个用于描述从训练到部署过程中破坏AI系统的静默测量失败的正式框架,包含案例研究、基于50个真实事件验证的失败分类法,以及失败预算框架。

0 人收藏 0 人点赞
#mlops

AIGen:通过混合MLOps集成实现AI物料清单的自动生成

arXiv cs.LG ↗ · 2026-07-30 缓存

AIGen是一个模块化工具,通过整合MLOps框架与大型语言模型(LLM),自动生成符合SPDX 3.0标准的AI物料清单(AIBoM),实现透明的AI供应链治理与法规合规。

0 人收藏 0 人点赞
#mlops

@anacondainc:Metaflow 的理念是消除复杂性,同时支持生产级 ML/AI。了解其可组合的 API、……

X AI KOLs Timeline ↗ · 2026-07-28 缓存

Anaconda 强调 Metaflow 的设计理念和核心功能,突出其简洁性、可组合性以及面向生产 ML/AI 工作流的企业级能力。

0 人收藏 0 人点赞
#mlops

训练数据在训练前需要一个真正的通过/不通过门控[D]

Reddit r/MachineLearning ↗ · 2026-07-27

作者提出一个正式的训练前控制层,用于审计训练数据工件,并基于明确标准给出判定(通过/不通过),作为数据准备与训练之间缺失的门控,并邀请讨论其实用性。

0 人收藏 0 人点赞
#mlops

ModelExpress:以光速分发模型工件 - NVIDIA 技术博客

Reddit r/LocalLLaMA ↗ · 2026-07-25

NVIDIA 推出 ModelExpress,一种用于快速分发 AI 模型工件的解决方案,如其技术博客所述。

0 人收藏 0 人点赞
#mlops

我们在AI实施中看到的一个模式:模型不再是瓶颈了。

Reddit r/ArtificialInteligence ↗ · 2026-07-24

观察者指出,在AI部署中,模型性能不再是主要限制因素;挑战现在集中在基础设施、数据和集成上。

0 人收藏 0 人点赞
#mlops

@anyscalecompute: Ray Summit 2026,与 @vllm_project 共同呈现。感谢合作伙伴和赞助商支持在旧金山为期三天的活动(8月24日至…)

X AI KOLs Following ↗ · 2026-07-21 缓存

宣布 Ray Summit 2026,与 vLLM 联合呈现,将于8月24日至26日在旧金山举行。完整议程已上线,涵盖基础模型训练、多模态流水线和大规模强化学习等主题。

0 人收藏 0 人点赞
#mlops

MLOps中的未解难题

Hacker News Top ↗ · 2026-07-15

一篇探讨MLOps领域未解决挑战的文章,涉及部署和维护机器学习系统中的操作障碍。

0 人收藏 0 人点赞
#mlops

@suraj_sharma14: 如果你想成为一名AI/ML工程师,以下是你真正需要学习的内容:- 数学与理论基础:线性…

X AI KOLs Timeline ↗ · 2026-06-25 缓存

成为AI/ML工程师所需学习主题的详细路线图,涵盖数学基础、深度学习架构、训练技巧、数据管道、评估、推理、MLOps和负责任AI。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈