标签
Hugging Face Jobs 现在允许你使用 vLLM 通过一条命令快速启动一个私有的、兼容 OpenAI 的 LLM 端点,无需配置服务器或 Kubernetes。
本文解释了非统一内存访问(NUMA)的概念、历史背景以及它在多插槽服务器上对性能的影响,同时介绍了Edera在使基于Xen的虚拟化实现端到端NUMA感知方面所做的工作。
Bootimus是一个自包含的PXE和HTTP启动服务器,使用Go语言编写,提供零配置、嵌入式iPXE,并支持超过50种发行版。它完全开源,基于Apache 2.0许可,无遥测功能。
oMLX是一款用于本地AI的MLX服务器,现在支持标准的Hugging Face缓存模型目录,简化了模型加载过程。
Ory Talos 是一个用 Go 编写的开源 API Key 服务器,用于大规模地签发、验证和管理 API 密钥,具有低延迟验证能力,并支持 JWT 和 macaroon 令牌。
llama.cpp server 现通过实验性标志内置了原生工具,支持文件操作、shell 命令等功能,无需外部包装器。
Kioxia和Dell合作,利用40块Kioxia LC9 245.76 TB SSD,打造出一款拥有近10 PB全闪存存储的2RU服务器,支持高密度AI基础设施。
用户报告,在 llama.cpp 服务器上连续运行约两周后,Qwen3.6 模型的能力显著下降,且重启会话无法解决此问题。
srvx is a new runtime-agnostic server framework that lets the same code run on Node.js, Deno, Bun and Cloudflare Workers while using native Web APIs and achieving ~97% native performance.