@GergelyOrosz:更多工程师应该做这种粗略估算,并提出:“这个系统的*理论*吞吐量上限是多少?为什么实际中会低一些?”
摘要
这条推文突出了AIE Worlds Fair上的一场炉边对话,西蒙·埃斯基尔德森(Simon Eskildsen)强调了粗略计算的价值,用于估算系统理论吞吐量上限并理解实际性能为何存在差异。
查看缓存全文
缓存时间: 2026/07/01 08:04
更多工程师应该做这种粗略估算,并问:“这个系统的理论吞吐量上限是多少?而实际上,它为什么更低?”
在 AIE 世界博览会上与 @Sirupsen 进行了一场精彩的炉边谈话
Steve Derico (@stevederico): Simon Eskildsen @Sirupsen 与 @GergelyOrosz 在 @aiDotEngineer 世界博览会
“我讨厌基准测试……根据粗略估算,这个应该只需要10毫秒。”
粗略估算 = 原材料成本 > 带宽到 DRAM / NVME / EBS 卷 > 往返 S3 的时间 + 成本 > 1GB 内存、S3、磁盘 > 抢占式 vs
相似文章
@GergelyOrosz: @Sirupsen 测量、发表并记住大约3倍这些网络+延迟基础数据的行为,只是令人惊…
Gergely Orosz 称赞 Sirupsen 对网络和延迟基础知识有深刻理解,引用一次采访中 Sirupsen 使用粗略计算构建了一个成本降低10倍或速度提升10倍的产品。
@nrehiew_: 这太棒了!一个有趣的后续是,给定任意拓扑和架构,计算预期的计算/…
这是一条对一篇关于TPU/GPU集群中集体通信的博客文章的推文回复,建议进行后续工作,计算在Blackwell NVL72上对1T MoE模型的预期计算/通信时长,并估算理论MFU和瓶颈。
@charles_irl: 使用智能体时的常规工程速度
来自@charles_irl的一条推文讨论了使用AI智能体时的常规工程速度,可能分享了关于该主题的见解。
最终瓶颈
一篇反思性博客文章,探讨了代码生成中AI加速如何压倒审查流程,在软件工程中创造了新的瓶颈。并与历史上的工业瓶颈进行了类比,建议将抑制输入作为必要回应。
@bcherny: 我一直在思考的一件事:过去,我认识的最优秀的工程师们花大量时间以各种方式自动化自己的工作……
一条发人深省的推文串,主张自动化工程任务(尤其是使用像Claude这样的AI代理)比以往任何时候都更加重要。它主张将领域知识编码为基础架构,以加速开发并使非工程师也能参与贡献。