Python 还是 Rust？使用本地大语言模型编程

Reddit r/LocalLLaMA 新闻
rust python local-llms vibe-coding hardware llm-development

摘要

一篇讨论帖，询问在使用本地大语言模型辅助编程时，Rust 和 Python 哪个更好，并探讨 Rust 的编译器反馈是否有助于弥补在消费级硬件上运行的小型模型能力较弱的不足。

我注意到，如今很多软件都在用 Rust 重写，于是我就在想，为什么不也用它配合本地大语言模型来完成一些简单任务呢？你们觉得，借助本地大语言模型编程时，用 Rust 还是 Python 更好？如今大家都在凭感觉编程（vibe coding），但本地大语言模型通常没那么好用，尤其是在低预算硬件上运行的小模型。我平时主要用 Python 写代码，但有时感觉模型发现不了 bug，所以我想知道，Rust 及其编译器能不能帮助避免其中一些问题。我也很想听听你们使用不同上下文窗口大小，以及在 12 或 24 GB 显存、64 或 128 GB 系统内存配置下运行各种模型的经验。你们觉得，对较小的本地模型来说，Rust 编译器提供的反馈值得付出额外的复杂性吗，还是说 Python 依然是更好的选择？
查看原文

相似文章

快速与硬核代码

Armin Ronacher

本文探讨了大语言模型如何降低编程语言选择的摩擦，促使开发者采用如 Rust 和 Zig 等面向性能的语言来开发快速、小型的软件，并使得处理以前被认为困难的技术成为可能。

构建一个媲美 Llama.cpp 的 Rust 推理引擎

Hacker News Top

Ferrox 是一个纯 Rust 推理引擎，可加载 GGUF 模型，并在 CPU、Metal 或 CUDA 上运行本地 LLM，提供 CLI 和兼容 OpenAI 的服务器。它的目标是在不使用任何绑定、从零编写的情况下，达到与 llama.cpp 相当的性能。