hardware-software-tradeoffs

标签

Cards List
#hardware-software-tradeoffs

面向商科教育的本地部署多课程 RAG 辅导系统:校园 AI 导师中的软硬件权衡

arXiv cs.AI ↗ · 2026-10-05 缓存

本文提出 CourseChat,这是一个面向本科商科教育、本地部署的多课程 RAG 辅导系统,通过两台边缘 AI 主机上的 Ollama 本地大模型(LLM)服务,共享六门相互隔离的课程。模型对比测试表明,8B/12B/7B 规模的模型能够满足课堂速度要求,而更大规模的模型则无法达标,这支持了软硬件协同设计的方法,而非默认假设更大规模的模型就是最优选择。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈