self-hosted-models

标签

Cards List
#self-hosted-models

@TheAhmadOsman: 澄清一下,OMP 有 97.5% 的缓存命中率。我的大部分使用都是自托管模型,并非所有推理设置都正确报告了遥测数据,所以…

X AI KOLs Timeline · 2026-08-23 缓存

一位用户澄清 OMP 有 97.5% 的缓存命中率,并讨论了自托管 DeepSeek V4 Flash 模型的使用,解决了对推理设置中缓存性能的担忧。

0 人收藏 0 人点赞
#self-hosted-models

对齐税:企业AI护栏让你的计算账单增加25-35%,但无人讨论

Reddit r/artificial · 2026-08-20

本文揭示商业AI模型中的对齐护栏如何通过隐性开销和错误拒绝,使计算账单增加25-35%,并倡导采用自托管开源权重模型作为节约成本的替代方案。

0 人收藏 0 人点赞
#self-hosted-models

Agenta: 一个开源的Claude Cowork替代方案,您可以在其中使用自托管模型(以及任何工具)

Reddit r/LocalLLaMA · 2026-07-28

Agenta 是 Claude Cowork 的一个开源替代方案,允许用户使用自托管模型和任何工具。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈