llm-api

标签

Cards List
#llm-api

如果你的 AI 智能体调用了公共 LLM,「删除」并不完全由你掌控:来自 2025 年 OpenAI 证据保全令的启示

Reddit r/AI_Agents ↗ · 2026-10-29

2025 年一项法院命令要求 OpenAI 保留本应被删除的聊天和 API 日志,这凸显出使用公共 LLM 的智能体开发者失去了对数据删除的控制,引发了关于私有模型部署和数据保留策略的讨论。

0 人收藏 0 人点赞
#llm-api

@svpino:这挺酷的:你可以获得像 Jev 这样的决策 API 在速度、成本和架构方面的优势。除此之外,你还……

X AI KOLs Timeline ↗ · 2026-10-28 缓存

SVPino 关注了 Parallel Web Systems 推出的全新 Decisions API,该 API 将 Jev 等决策模型的速度和成本优势与实时网络新闻上下文相结合,每次请求仅需 $0.001。

0 人收藏 0 人点赞
#llm-api

我关注的 10 款 AI 智能体工具中,有 8 款在过去 9 天里发布了更新。哪项变化真正对你的技术栈有影响?

Reddit r/AI_Agents ↗ · 2026-10-28

汇总了 10 款 AI 智能体工具在 9 天内的更新日志,涵盖 GitHub Copilot Fusion、GPT-6.1 Terra、Anthropic SDK 的破坏性变更以及 Cursor Agent SDK 正式发布等内容,最后提出了有关升级策略的讨论问题。

0 人收藏 0 人点赞
#llm-api

阿里巴巴将 DeepSeek V4 Flash 0731 输出价格上调 230%

Hacker News Top ↗ · 2026-10-21 缓存

阿里巴巴连夜悄然将 DeepSeek V4 Flash 0731 的输出价格上调了 230%,Mistral 和 Qwen 系列模型也出现类似涨价,这标志着由风险投资补贴的大模型定价时代正在终结。

0 人收藏 0 人点赞
#llm-api

@UPing123zzz:我强烈推荐所有有志于构建 AI 应用、自动化以及 FDE 的人都仔细读完这篇文章……

X AI KOLs Timeline ↗ · 2026-10-04 缓存

作者强烈推荐这篇文章给所有构建 AI 应用、自动化以及 Forward Deployed Engineer 角色的人,梳理了完整的 AI 工程技术栈:Python → FastAPI → LLM API → Tool Calling → RAG → Workflow → Agent → Eval → Deployment。

0 人收藏 0 人点赞
#llm-api

Inferock

Product Hunt ↗ · 2026-09-29 缓存

Inferock 在 Product Hunt 发布,提供每笔 LLM API 调用的独立收据、失败调用返额以及自带密钥的调用监控与成本追踪,支持 OpenAI、Claude、Gemini 等模型的无服务器按 token 计费推理。

0 人收藏 0 人点赞
#llm-api

Twigg

Product Hunt ↗ · 2026-09-14 缓存

Twigg 是一个有状态API,专为大语言模型设计,管理对话上下文、模式匹配和路由,以简化应用开发。

0 人收藏 0 人点赞
#llm-api

面向无状态LLM API的对话数据系统架构设计:Hydration Proxy 模式

arXiv cs.AI ↗ · 2026-09-03 缓存

本文提出 Hydration Proxy 模式——一种用于管理无状态LLM API对话状态的三层架构,旨在确保数据主权、优化缓存机制并提升企业系统中的语义锚定能力。

0 人收藏 0 人点赞
#llm-api

@samhogan: 介绍 Fast Inference (https://fast.inference.net) Fast Inference 是一个为希望加快速度的开发者提供的 LLM API acc…

X AI KOLs Timeline ↗ · 2026-08-27 缓存

Fast Inference 是一项 LLM API 服务,为开发者提供快速且经济实惠的访问顶级开源和闭源模型的服务,并集成了编码代理和工具如 Claude Code 和 Codex。

0 人收藏 0 人点赞
#llm-api

@akshay_pachaar:Anthropic 不会喜欢这个开源仓库。这将让 LLM 服务商损失大量资金。每个 AI 应用的 CI 运行……

X AI KOLs Timeline ↗ · 2026-08-17 缓存

文章介绍了 aimock,这是 CopilotKit 开发的一个开源工具,用于在 CI/CD 过程中模拟 AI 应用的 API 调用,从而降低成本并确保跨多个服务商的类型正确性。

0 人收藏 0 人点赞
#llm-api

GitHub Models 现已退役

Simon Willison's Blog ↗ · 2026-08-09 缓存

GitHub Models 已退役,导致在 GitHub Actions 中使用其统一 LLM API 的开发人员受到影响。Simon Willison 回顾了此次关闭以及他迁移到 OpenAI API 的过程。

0 人收藏 0 人点赞
#llm-api

计量思维:Token 套利与 AI 的选择压力

Reddit r/ArtificialInteligence ↗ · 2026-08-05

分析了按 token 计费的 LLM 定价如何激励冗长输出,并提出了低熵提示约束(FAOA)以降低成本并提高语义密度。

0 人收藏 0 人点赞
#llm-api

您的智能体工作流的缓存保活成本高出8倍

Lobsters Hottest ↗ · 2026-07-21 缓存

一项跨Anthropic、OpenAI、Gemini和DeepSeek的详细测量研究发现,传统的30秒提示缓存保活频率过高8倍;4分钟间隔是最优的,并且只有在长时间空闲间隔下,Anthropic的缓存才能节省成本。

0 人收藏 0 人点赞
#llm-api

缓存感知的提示压缩:大语言模型API缓存的双层成本模型

arXiv cs.AI ↗ · 2026-07-20 缓存

提出了一种缓存感知的提示压缩(CAPC)方法,该方法将查询无关的压缩与缓存相结合,以降低大语言模型API的成本,在Anthropic的Sonnet API和生产工作负载上展现出显著优于现有方法的节省效果。

0 人收藏 0 人点赞
#llm-api

Sakana Fugu在Claude被封禁后推出,LiveCodeBench得分93.2(3分钟阅读)

TLDR AI ↗ · 2026-06-30 缓存

Sakana AI推出多模型编排API Fugu,此前Anthropic暂停了对Claude Fable 5和Mythos 5的访问。Fugu Ultra在LiveCodeBench上获得93.2分,表现优于Fable 5,起价为每百万输入代币5美元。

0 人收藏 0 人点赞
#llm-api

Show HN: Bash4LLM+ – 一个轻量级、无依赖的 Bash 封装器,用于 LLM API

Hacker News Top ↗ · 2026-06-28 缓存

Bash4LLM+ 是一个轻量级、无依赖的 Bash 封装器,用于 LLM API,提供与 Groq 及其他提供者的安全、可审计交互,具有动态模型列表、流式输出和可扩展附加功能等特点。

0 人收藏 0 人点赞
#llm-api

@NFTCPS: 白嫖党看过来,一个 OpenAI 兼容的接口,背后把 16 家大厂的免费额度全薅到一块儿,Google、Groq、Cerebras、Mistral、NVIDIA 这些都在里面,加起来差不多每月 17 亿 Token,全免费。 最骚的是它自…

X AI KOLs Timeline ↗ · 2026-06-25 缓存

FreeLLMAPI 是一个开源工具,将 16 家 LLM 提供商的免费额度聚合为一个 OpenAI 兼容端点,自动路由和用量跟踪,每月总计约 17 亿 Token。

0 人收藏 0 人点赞
#llm-api

现在真的没有任何医疗LLM的API可用吗?[D]

Reddit r/MachineLearning ↗ · 2026-06-24

作者注意到,尽管Hugging Face上存在像MedGemma和BioMistral这样的模型,但面向医疗的LLM公开可用的API却出人意料地缺乏,并询问是否有任何可用的选项。

0 人收藏 0 人点赞
#llm-api

探究加密推理块

Hacker News Top ↗ · 2026-05-29 缓存

作者探究了来自OpenAI和Anthropic的LLM API中的加密推理块,讨论了链式思考数据如何被加密和签名,以及篡改这些块的安全影响。

0 人收藏 0 人点赞
#llm-api

降低LLM API成本的10种方法

Reddit r/AI_Agents ↗ · 2026-05-20

一份实用指南,列出了使用LLM API时降低成本的10种策略,包括模型选择、提示缓存、批处理以及监控费用。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈