标签
Cursor Origin 现在允许用户托管他们的仓库并部署到 Vercel,具备 Vercel 集成,并且服务本身也托管在 Vercel 上。
SGLang 已更新其在 RTX 5090 和 RTX Pro 6000 硬件上部署 Qwen3.8-27B 模型的配置指南,为不同配置添加了变体,并提供了调优选项。
本文探讨了超越模型智能之外,要在真实商业工作中信任AI代理所需的关键因素,包括可靠性、错误处理与透明度等。
一篇社交媒体帖子,询问从业者在将AI智能体部署到生产环境中时遇到的意外挑战和未经测试的问题,突显了开发与实际使用之间的差距。
Santiago Valdarrama 重点介绍了一个用于构建、评估、部署和监控专用 AI 模型的端到端系统,并指出尽管基础模型广受欢迎,企业仍愿意为定制的微型模型支付高昂费用。
OpenShip是一个开源的平台即服务(PaaS),允许在云端或本地基础设施上部署,无需供应商锁定,管理构建、部署、域名、SSL、监控等。
本文在BowTie制造数据集上评估了19种无监督异常检测模型,发现其性能不如基准测试所暗示的那样稳定,并提出了一个已部署的用于制造零件检测的人机协同框架。
一位机器人技术从业者解释说,机器人部署的瓶颈不是硬件或模型,而是能否预判部署能否持续运行,关键在于可行性、可靠性和经济性。
LangChain 宣布 Managed Deep Agents 公开测试版,这是一个托管运行时,用于部署和扩展 Deep Agents,无需管理基础设施。它支持 Python/TypeScript、本地测试、一键部署,并与 LangSmith 集成,提供持久化、沙箱和评估等生产功能。
本文研究了提示侧智能体剧本(从先前运行中提炼出的流程)是否能在不同设置之间迁移,发现冻结迁移仅在有条件下有效,具体取决于与目标部署的兼容性;在ALFWorld、TAU2-Bench和XBench-DeepSearch上的结果参差不齐。
一篇技术文章,探讨传统web服务器部署模型(TLS终止、反向代理、静态文件服务、缓存)如何在对必须易于自托管的爱好者级应用上失效,导致效率低下和复杂度增加。
Microsoft Research的Atlas Playbook提供了框架和工具,用于设计、部署和评估在多样化文化背景下以人为本的人工智能系统,其基础是在肯尼亚和印度的实地研究。
对10,000通语音AI电话的分析揭示了关键失败点:STT错误率、前8秒混乱、中断处理、长时间静默、工具调用延迟、LLM故障以及转接失败——为代理构建者提供了实用见解。
一份教育指南,详细拆解了生产部署的各个阶段——构建、构建产物、数据库迁移、健康检查、滚动更新和回滚——并讨论了何时该使用 PaaS,何时该运行自己的部署基础设施。
This repository provides configuration, patches, and tuning to run the DeepSeek V4 Flash 304B checkpoint on a single AMD MI300X in production, achieving 168 tok/s decode without quantization. It includes correctness overlays for vLLM ROCm, AITER tuning tables, and a hybrid KV cache strategy.
这篇arXiv论文提出了一种统一的LLMOps架构,用于实时、企业级LLM部署,集成了数据摄入、持续学习、RAG和反馈循环。它引入了AIPO、STAR+FAR和SAGE等组件,以解决受监管行业中知识过时、幻觉和延迟-成本权衡的问题。
一位软件工程师讨论了功能开关在何种情况下有意义,例如用于A/B测试和复杂部署,并提醒团队在能够控制部署时不要过度使用它们。
本文研究了在单块GPU上部署EuroLLM和Hy-MT2等翻译模型时的量化权衡,表明将文档分块策略与W4A8/W8A8量化相结合能够改善延迟-吞吐量权衡,同时引入文档级评估来考察长上下文动态。
这篇演讲介绍了如何用 Nix 实现从开发环境、构建到云部署的全面可复现性,并展示了 Antithesis 基于 Nix 的“命令集”框架来替代杂乱脚本。