标签
一位独立开发者发布了名为 Observer 的开源微代理框架 v3.0.0,该框架使用本地 LLM 监控屏幕活动并触发操作,现在在社区反馈后已让非技术用户也能轻松使用。
vLLM 引入了 Semantic Router,这是一种服务层原语,通过微代理实现多个模型之间的协作,使得路由器能够在不修改模型权重的情况下提升输出质量。