LLVM 编译器基础设施
摘要
LLVM 是一组模块化且可复用的编译器与工具链技术,用于开发编译器前端和后端。
暂无内容
相似文章
llvm/llvm-project
本仓库托管了 LLVM 编译器基础设施,它是一个用于构建高度优化的编译器、优化器和运行时的模块化工具集,并包含相关组件,如 Clang 前端、libc++ 标准库和 LLD 链接器。
MLIR 之旅:人人都依赖的方言栈
本文解释了 MLIR 作为一个编译器基础架构框架,提供了灵活的方言栈,描述了它如何被用于 XLA、Triton 和 Mojo 等现代 ML 编译器中,以逐步将张量操作降级为机器代码。
为什么我们要编写自己的C和C++推理引擎
LocalAI 解释了为什么它要编写自己的 C/C++ 推理后端,并展示了其 vllm.cpp 移植版本在多个模型和硬件上的基准测试中,能够实现与 vLLM 相当或更高的吞吐量,同时占用空间远小于 vLLM。
在 LLVM 中对抗 Hyrum 定律
本文概述了 LLVM 编译器基础设施中旨在防止依赖未指定行为(即 Hyrum 定律)以保障构建可重现性的机制。
@0xSero:关于 LLM 推理与部署,看这一篇就够了。你听说过:- vLLM - SGLang - llama.cpp - …
vLLM、SGLang、llama.cpp 与 ExLlamaV3 等主流开源推理引擎概览,助你轻松托管并运行大模型。