@GergelyOrosz:更多工程师应该做这种粗略估算,并提出:“这个系统的*理论*吞吐量上限是多少?为什么实际中会低一些?”

X AI KOLs Following 新闻

摘要

这条推文突出了AIE Worlds Fair上的一场炉边对话,西蒙·埃斯基尔德森(Simon Eskildsen)强调了粗略计算的价值,用于估算系统理论吞吐量上限并理解实际性能为何存在差异。

更多工程师应该做这种粗略估算,并提出:“这个系统的*理论*吞吐量上限是多少?为什么实际中会低一些?” 与@Sirupsen在AIE Worlds Fair上的精彩炉边对话
查看原文
查看缓存全文

缓存时间: 2026/07/01 08:04

更多工程师应该做这种粗略估算,并问:“这个系统的理论吞吐量上限是多少?而实际上,它为什么更低?”

在 AIE 世界博览会上与 @Sirupsen 进行了一场精彩的炉边谈话

Steve Derico (@stevederico): Simon Eskildsen @Sirupsen 与 @GergelyOrosz 在 @aiDotEngineer 世界博览会

“我讨厌基准测试……根据粗略估算,这个应该只需要10毫秒。”

粗略估算 = 原材料成本 > 带宽到 DRAM / NVME / EBS 卷 > 往返 S3 的时间 + 成本 > 1GB 内存、S3、磁盘 > 抢占式 vs

相似文章

最终瓶颈

Armin Ronacher

一篇反思性博客文章,探讨了代码生成中AI加速如何压倒审查流程,在软件工程中创造了新的瓶颈。并与历史上的工业瓶颈进行了类比,建议将抑制输入作为必要回应。