@barrowjoseph: 我对 @philipkiely 的《Inference Engineering》的完整评测。TL;DR: 我非常希望我能把这本书寄回给过去的自己……
摘要
对 Philip Kiely 所著《Inference Engineering》的评测,推荐阅读以避免在 AI 推理工程中常见的错误。
我对 @philipkiely 的《Inference Engineering》的完整评测。
TL;DR: 我非常希望我能把这本书寄回给 2023 年的自己。但你应该今天就阅读它,以避免重蹈我的覆辙!
查看缓存全文
缓存时间: 2026/06/17 20:03
我对@philipkiely的《推理工程》的完整评价。
太长不看:我真希望能把这本寄给2023年的自己。但你应该今天就读,避免犯和我一样的错误!
相似文章
AI推理工程指南(阅读时间约17分钟)
本指南解释了AI推理工程这一学科,涵盖了预填充和解码阶段的划分、从封闭模型到开放模型的转变,以及针对延迟、吞吐量和成本的优化技术。
@polydao: 这堂关于AI推理的斯坦福课程比大多数ML课程更能让你了解LLM在生产环境中的运作方式 > Clau…
一场关于AI推理的斯坦福讲座强调了KV-cache等实际瓶颈以及推测性解码和连续批处理等技术,比典型ML课程提供更多现实世界的洞察。
最终瓶颈
一篇反思性博客文章,探讨了代码生成中AI加速如何压倒审查流程,在软件工程中创造了新的瓶颈。并与历史上的工业瓶颈进行了类比,建议将抑制输入作为必要回应。
我评估了250+个真实的AI落地案例,有些结果令我意外...
作者分享了在评估250多个真实AI落地案例中的洞察,指出工程和财务领域处于采用领先地位,而大多数成果侧重于提升速度,而非降低成本或增加收入。
AI正在吞噬AI工程循环(5分钟阅读)
文章讨论了AI工程循环如何能够完全自动化,但认为将整个循环交给AI会产生'agent slop'(智能体垃圾),因为评估不完善。它建议自动执行某些步骤,同时保留人类判断以处理细微差别。