标签
一篇“你应该知道”(YSK)帖子揭露,Strata/PolyStrata 通过一项名为“answer_room”的功能,悄悄将模型的思考量限制在 max_tokens 的 75%,并以模型自身的口吻注入一条催促收尾的提示,却不向客户端返回任何错误、标记或结束原因。
spinf-serve 是一个开源(Apache 2.0)推理服务器,只需读取一次内容,即可在单次 GPU 前向传播中回答多个经过校准的分类/决策问题,并通过兼容 OpenAI 的 API 返回用户自定义选项的概率。
PS5LM 是一个开源项目,可在已越狱的 PS5 的 RDNA 2 GPU 上运行 llama.cpp,将这台游戏主机变成私有模型服务器,通过兼容 OpenAI 和 Anthropic 的 API,为局域网内的任何设备提供 GGUF 模型服务。
Minnow 是一个用于 LLaDA2.2 模型的高性能 Rust 推理服务器,提供通过量化、GPU加速的优化推理,以及相比标准 Transformers 实现的显著速度提升。
Perplexity 开源了一款针对 Qwen 3.6 模型优化的 Mac 推理服务器,以在 Apple Silicon 上实现最佳性能。
Magnitude 是一个开源推理服务器,可在您的硬件上本地运行AI模型,与编码代理集成以确保隐私和无数据泄露,设置只需一个命令。
Reef 是一个开源基础设施,它使 AI 代理能够通过从推理经验中学习来持续改进自身,专注于进化模型和工具。
本文是一篇实践指南,介绍如何为代理工作运行本地AI模型,重点讨论硬件权衡,并引入Magnitude,一个开源推理服务器,它简化配置以优化性能。
Reame 是一个基于 llama.cpp 构建的 LLM 推理服务器,通过缓存提示前缀和生成的 n-gram 来优化 CPU 硬件,随着重复使用变得越来越快。它专为廉价硬件设计,如共享 vCPU 和免费套餐,适用于重复性的 AI 工作负载,例如文档提取和批量处理管道。
MiaAI-Lab 提供了一个简单的 Bash 启动/停止脚本,用于通过 llama-server 运行 Qwen3.6 27B/35B GGUF 模型,针对速度和编码性能进行了优化。
有关在LLM推理服务器Tokn中实现CUDA Graphs的详细教程,涵盖FastAPI服务器设置、引擎初始化以及用于优化解码阶段的CUDA Graph捕获。
一位用户寻求建议,希望以低于15万美元的价格购买一台故障转移推理服务器,用于服务300人,讨论了使用二手H100、RTX Pro 6000和DGX Station等选项来运行vLLM上的122b AWQ模型。
Shimmy is a lightweight single-binary local inference server that provides a drop-in OpenAI-compatible API for running GGUF models, supporting hot-swapping models and requiring no Python dependencies.
Magnitude是一个开源推理服务器,可在本地硬件上运行AI模型,确保隐私和离线使用,并集成到各种代理工具中,如Pi和Claude Code。