LLVM 编译器基础设施
摘要
LLVM 是一组模块化且可复用的编译器与工具链技术,用于开发编译器前端和后端。
暂无内容
相似文章
MLIR 之旅:人人都依赖的方言栈
本文解释了 MLIR 作为一个编译器基础架构框架,提供了灵活的方言栈,描述了它如何被用于 XLA、Triton 和 Mojo 等现代 ML 编译器中,以逐步将张量操作降级为机器代码。
在 LLVM 中对抗 Hyrum 定律
本文概述了 LLVM 编译器基础设施中旨在防止依赖未指定行为(即 Hyrum 定律)以保障构建可重现性的机制。
@0xSero:关于 LLM 推理与部署,看这一篇就够了。你听说过:- vLLM - SGLang - llama.cpp - …
vLLM、SGLang、llama.cpp 与 ExLlamaV3 等主流开源推理引擎概览,助你轻松托管并运行大模型。
llama.cpp 就是 LLM 界的 Linux
文章把 llama.cpp 比作 Linux,认为这款开源库已成为运行大语言模型的基础底座。
ggml-org/llama.cpp
llama.cpp 是一个开源 C/C++ 库,用于在本地硬件上高效运行 LLM 推理,支持多种量化方法和多后端(CPU、GPU 等)。