构建了一个轻量级Python框架，用于本地LLM角色扮演（Ollama/Phi-3），以防止上下文漂移。寻求反馈。

Reddit r/AI_Agents 工具
python framework llm roleplay ollama phi-3 open-source

摘要

一个轻量级Python框架，使用Ollama和Phi-3进行本地LLM角色扮演，具有上下文保留和原生流式传输功能，防止角色漂移。

大家好，我想分享一个我正在构建的开源项目。我想要一种干净、轻量的方式来处理使用Ollama和Phi-3的本地AI角色扮演，但我一直遇到角色漂移、流式传输延迟和上下文管理的问题。我没有使用庞大、臃肿的AI代理框架，而是为此用例构建了一个专用的轻量级Python框架。它原生地处理上下文锁定和LLM流式传输，使角色保持锁定状态，同时不会消耗不必要的token内存。**内置功能：** * **Ollama集成：** 专为本地模型如Phi-3定制（也支持其他模型，但我使用Phi-3）。 * **原生LLM流式传输：** 无需长时间等待生成。 * **上下文保留：** 即使在多轮长对话中也能保持角色完整性。 * **MIT许可证：** 完全开源。由于我的Reddit账户是全新的，如果包含直接的GitHub超链接，自动审核会删除我的帖子。如果你想查看代码、浏览文件或帮助测试，**直接链接已钉在我的Reddit个人资料简介中**，或者你可以在GitHub上搜索：**tegetgoofficial-bot/ai-roleplay-framework** 我想看看这里的其他开发者是否觉得这种结构合理。你们认为以这种方式处理本地角色扮演状态怎么样？
查看原文

相似文章

本地LLM伙伴

Reddit r/LocalLLaMA

一位拥有45年经验的开发者正在构建一个本地优先的LLM框架，包含多智能体逻辑，即将在GitHub上开源，并向社区询问哪些功能能改善他们的本地LLM体验。