据报道,OpenAI找到了将推理成本减半的方法
摘要
据报道,OpenAI开发了一种将AI推理成本减半的方法,这可能对部署大型语言模型的经济性产生重大影响。
暂无内容
相似文章
OpenAI 据报道将 ChatGPT 访客用户的推理成本削减了一半以上(一分钟阅读)
OpenAI 据报道将 ChatGPT 访客用户的推理成本削减了一半以上,将 GPU 需求减少到几百个,但尚不清楚这些优化是否适用于完整产品。
科技公司能否学会青睐更便宜的AI模型?
TechCrunch报道称,随着成本不断攀升,企业开始考虑转向更便宜、更小的AI模型,而非始终使用最强大的模型,这可能引发行业转变。布赖恩·阿姆斯特朗等人的预测表明,12-18个月内,80%的工作负载可能运行在价格便宜99%的模型上,这将严重冲击OpenAI和Anthropic等主要AI实验室。
五家中国AI实验室将Token价格最高下调99%
五家中国AI实验室在价格战中将推理Token价格下调高达99%,使得前沿推理几乎免费,竞争优势从模型转向分发和工具链。
AI成本的很大一部分只是模型一遍又一遍地重读相同的文本。有趣的修复尝试,带有公开证明
Corbenic AI声称为大语言模型提供无损KV缓存重用,允许存储的模型内存在不同机器和GPU代际之间逐比特恢复,并通过公开校验和进行验证。该项目包括一个开源的小模型,训练成本约600欧元,使整个流程可审查。
OpenAI与Broadcom联合宣布专为大规模LLM推理设计的芯片
OpenAI与Broadcom宣布推出Jalapeño,这是一款专为数据中心大型语言模型推理定制的ASIC芯片。该芯片承诺在每瓦性能上显著优于当前最先进水平。