@GergelyOrosz:更多工程师应该做这种粗略估算,并提出:“这个系统的*理论*吞吐量上限是多少?为什么实际中会低一些?”
摘要
这条推文突出了AIE Worlds Fair上的一场炉边对话,西蒙·埃斯基尔德森(Simon Eskildsen)强调了粗略计算的价值,用于估算系统理论吞吐量上限并理解实际性能为何存在差异。
查看缓存全文
缓存时间: 2026/07/01 08:04
更多工程师应该做这种粗略估算,并问:“这个系统的理论吞吐量上限是多少?而实际上,它为什么更低?”
在 AIE 世界博览会上与 @Sirupsen 进行了一场精彩的炉边谈话
Steve Derico (@stevederico): Simon Eskildsen @Sirupsen 与 @GergelyOrosz 在 @aiDotEngineer 世界博览会
“我讨厌基准测试……根据粗略估算,这个应该只需要10毫秒。”
粗略估算 = 原材料成本 > 带宽到 DRAM / NVME / EBS 卷 > 往返 S3 的时间 + 成本 > 1GB 内存、S3、磁盘 > 抢占式 vs
相似文章
@GergelyOrosz: @Sirupsen 测量、发表并记住大约3倍这些网络+延迟基础数据的行为,只是令人惊…
Gergely Orosz 称赞 Sirupsen 对网络和延迟基础知识有深刻理解,引用一次采访中 Sirupsen 使用粗略计算构建了一个成本降低10倍或速度提升10倍的产品。
@nrehiew_: 这太棒了!一个有趣的后续是,给定任意拓扑和架构,计算预期的计算/…
这是一条对一篇关于TPU/GPU集群中集体通信的博客文章的推文回复,建议进行后续工作,计算在Blackwell NVL72上对1T MoE模型的预期计算/通信时长,并估算理论MFU和瓶颈。
@charles_irl: 使用智能体时的常规工程速度
来自@charles_irl的一条推文讨论了使用AI智能体时的常规工程速度,可能分享了关于该主题的见解。
@charles_irl:从追求最大吞吐量转向以极低延迟覆盖欧洲
本文讨论了从优化吞吐量转向专注于极低延迟的欧洲应用场景的转变,并提及在巴黎AI工程师大会上的演讲。
@GergelyOrosz: 如今很多软件不太注重性能,运行起来就是卡顿。大家似乎都接受了这种情况。除了……
Gergely Orosz 讨论了现代软件常常忽略性能的问题,以 Bun 和 Linear 为例,并展示了 Mitchell Hashimoto 为 tmux 制作的 Superlogical 快速演示。