使用 llama.cpp 在本地运行的自动化 AI 研究员

Reddit r/LocalLLaMA 工具

摘要

ml-intern 是一个面向 AI 代理的工具,它与 Hugging Face 的库集成,现在支持通过 llama.cpp 或 ollama 运行本地模型,使得自动化 AI 研究员可以在笔记本电脑上全天候运行。

大家好,我很高兴分享 ml-intern,这是一个为代理提供与 Hugging Face 开源库(transformers、datasets、trl 等)和 Hub 基础设施更紧密集成的工具:[https://github.com/huggingface/ml-intern](https://github.com/huggingface/ml-intern) 该工具非常简单(基本上是工具 + 系统提示),我们最初是为 Claude Opus 构建的。然而,现在开源模型在代理工作流方面变得非常出色,我刚刚增加了对通过 llama.cpp 或 ollama 运行本地模型的支持。正如您在视频中所见,Qwen3.6-35B-A3B 能够通过编排 CPU/GPU 沙箱和 Hub 上的任务,端到端地对模型进行 SFT。我觉得这非常棒,因为现在我们可以让 AI 研究员在笔记本电脑上全天候运行,而无需担心令牌限制 :) 无论如何,希望这对社区有用,如果有任何您希望我们加入的功能,请告诉我。
查看原文

相似文章

从零搭建本地AI编程代理

Reddit r/ArtificialInteligence

一份逐步指南,介绍如何构建一个完全本地运行的最小化AI编码代理,使用llama.cpp、GGUF模型和自定义工具框架,演示如何设置工具并调用模型执行实际任务,例如创建着陆页。

@PrajwalTomar_: https://x.com/PrajwalTomar_/status/2069409824824316060

X AI KOLs Following

作者构建了一个完全离线的AI代理,使用本地嵌入模型、通过Ollama的Llama模型以及VectorAI数据库,旨在解决依赖云端的AI所带来的风险。该代理运行在一台8GB内存的MacBook上,能够处理敏感文档,并在多个会话之间保持记忆。

GGML 和 llama.cpp 加入 Hugging Face,保障本地 AI 长期发展

Hugging Face Blog

GGML 和 llama.cpp 已加入 Hugging Face,以确保本地 AI 开发的长期可持续性。Georgi Gerganov 的团队将保持对项目的完全自主权,同时获得资源来扩大社区支持并改进 llama.cpp 推理与 transformers 模型定义之间的集成。