标签
2025 年一项法院命令要求 OpenAI 保留本应被删除的聊天和 API 日志,这凸显出使用公共 LLM 的智能体开发者失去了对数据删除的控制,引发了关于私有模型部署和数据保留策略的讨论。
SVPino 关注了 Parallel Web Systems 推出的全新 Decisions API,该 API 将 Jev 等决策模型的速度和成本优势与实时网络新闻上下文相结合,每次请求仅需 $0.001。
汇总了 10 款 AI 智能体工具在 9 天内的更新日志,涵盖 GitHub Copilot Fusion、GPT-6.1 Terra、Anthropic SDK 的破坏性变更以及 Cursor Agent SDK 正式发布等内容,最后提出了有关升级策略的讨论问题。
阿里巴巴连夜悄然将 DeepSeek V4 Flash 0731 的输出价格上调了 230%,Mistral 和 Qwen 系列模型也出现类似涨价,这标志着由风险投资补贴的大模型定价时代正在终结。
作者强烈推荐这篇文章给所有构建 AI 应用、自动化以及 Forward Deployed Engineer 角色的人,梳理了完整的 AI 工程技术栈:Python → FastAPI → LLM API → Tool Calling → RAG → Workflow → Agent → Eval → Deployment。
Inferock 在 Product Hunt 发布,提供每笔 LLM API 调用的独立收据、失败调用返额以及自带密钥的调用监控与成本追踪,支持 OpenAI、Claude、Gemini 等模型的无服务器按 token 计费推理。
本文提出 Hydration Proxy 模式——一种用于管理无状态LLM API对话状态的三层架构,旨在确保数据主权、优化缓存机制并提升企业系统中的语义锚定能力。
Fast Inference 是一项 LLM API 服务,为开发者提供快速且经济实惠的访问顶级开源和闭源模型的服务,并集成了编码代理和工具如 Claude Code 和 Codex。
文章介绍了 aimock,这是 CopilotKit 开发的一个开源工具,用于在 CI/CD 过程中模拟 AI 应用的 API 调用,从而降低成本并确保跨多个服务商的类型正确性。
GitHub Models 已退役,导致在 GitHub Actions 中使用其统一 LLM API 的开发人员受到影响。Simon Willison 回顾了此次关闭以及他迁移到 OpenAI API 的过程。
分析了按 token 计费的 LLM 定价如何激励冗长输出,并提出了低熵提示约束(FAOA)以降低成本并提高语义密度。
一项跨Anthropic、OpenAI、Gemini和DeepSeek的详细测量研究发现,传统的30秒提示缓存保活频率过高8倍;4分钟间隔是最优的,并且只有在长时间空闲间隔下,Anthropic的缓存才能节省成本。
提出了一种缓存感知的提示压缩(CAPC)方法,该方法将查询无关的压缩与缓存相结合,以降低大语言模型API的成本,在Anthropic的Sonnet API和生产工作负载上展现出显著优于现有方法的节省效果。
Sakana AI推出多模型编排API Fugu,此前Anthropic暂停了对Claude Fable 5和Mythos 5的访问。Fugu Ultra在LiveCodeBench上获得93.2分,表现优于Fable 5,起价为每百万输入代币5美元。
Bash4LLM+ 是一个轻量级、无依赖的 Bash 封装器,用于 LLM API,提供与 Groq 及其他提供者的安全、可审计交互,具有动态模型列表、流式输出和可扩展附加功能等特点。
FreeLLMAPI 是一个开源工具,将 16 家 LLM 提供商的免费额度聚合为一个 OpenAI 兼容端点,自动路由和用量跟踪,每月总计约 17 亿 Token。
作者注意到,尽管Hugging Face上存在像MedGemma和BioMistral这样的模型,但面向医疗的LLM公开可用的API却出人意料地缺乏,并询问是否有任何可用的选项。