@prateek_0041:顺便说一下,我正转向推理工程。花了不少时间学习架构、实现LLM……
摘要
用户宣布职业转向推理工程,并提到有LLM架构和注意力机制方面的经验。
顺便说一下,我正转向推理工程。已经花了不少时间学习架构、实现LLM、阅读关于不同注意力机制的书籍,以及了解著名模型的工作原理、优化方法等等。也做了一些vLLM和LLMD的工作。但现在,我要正式全面投入了。
6个月的时间线。
查看缓存全文
缓存时间: 2026/06/28 20:15
顺便说一下,我正在转向推理工程。我已经花了大量时间学习架构、实现大语言模型(LLM)、阅读关于不同注意力机制的书籍,以及了解著名模型如何工作/优化等。也接触了一些 vLLM 和 LLMD 相关的实践。但现在,我要全力以赴,正式开始了。
计划用 6 个月的时间。
相似文章
@jino_rohit:在过去的6到8个月里,我一直尝试转向机器学习系统和AI基础设施领域。以下是我最喜欢的一些…
作者分享了他们在过去6-8个月里在ML系统和AI基础设施方面的工作,包括一个轻量级的Python LLM推理引擎(tachyon),在消费级硬件上通过连续批处理和前缀缓存实现了每秒600+ tokens,还有关于CUDA/CUTE DSL和集体通信的博客文章,以及对SGLang和vLLM的贡献。
@ParamSiddh:1)我一年前转向了AI工程!这是我做过的最佳职业选择。如果你想今天开始,这里…
一条推文分享个人转向AI工程的成功经历,并承诺为初学者提供路线图。
@trawasthi_ai: 如果你对LLM推理——从内核和内存级别——非常感兴趣,不妨看一下。以后再感谢我。
一条推荐资源的推文,适合对内核和内存级别的LLM推理感兴趣的人。
@neural_avb: 非常棒的LLM服务、推理基础以及VLLM(分页注意力、连续批处理等)介绍。强烈推荐…
推荐了一篇关于LLM服务、推理基础以及VLLM(涵盖分页注意力和连续批处理)的介绍。
@TheAhmadOsman: 自2023年以来,我的使命就是教导人们并帮助他们运行自己的AI。2026年6月将标志着…
Ahmad (@TheAhmadOsman) 宣布了一篇博客文章,涵盖 llama.cpp、vLLM 和 ExLlamaV2 等推理引擎,重点关注多 GPU 设置、张量并行以及批处理推理,以优化 AI 模型性能。