scalability

标签

Cards List
#scalability

OpenAI 如何扩展 Git规模

OpenAI Blog ↗ · 2026-11-02 缓存

OpenAI 为其 monorepo 构建了 Pando,一个全新的水平可扩展 Git 后端,以应对大规模的 agent 驱动开发,将中位推送延迟降低了近 5 倍,每天服务接近 1PB 的 Git 数据,同时保持与 Git 协议的兼容性。

0 人收藏 0 人点赞
#scalability

你们是如何大规模处理 AI 图像/视频内容审核的?

Reddit r/artificial ↗ · 2026-11-02

一位从业者向社区请教如何大规模开展 AI 图像和视频内容审核(日上传量超过 100 万),希望获得有关开源模型、Sightengine 和 AWS Rekognition 等商业 API、混合架构、成本优化,以及误报与漏报之间权衡的建议。

0 人收藏 0 人点赞
#scalability

扩展基于 Transformer 的能量模型以实现高质量图像合成

arXiv cs.LG ↗ · 2026-10-27 缓存

该论文提出了 Transformer 能量模型(TEM),通过在潜空间中构建可扩展的 Transformer 能量函数并进行多层能量聚合,实现了无需无分类器引导的高质量图像生成(在 ImageNet 256×256 上的 FID-50K 达到 3.82),并验证了能量模型(EBM)在组合生成、零样本修复与分布外检测方面的能力。

0 人收藏 0 人点赞
#scalability

快速扩展在线存储以服务超过 10 亿 ChatGPT 用户(第二部分)

OpenAI Blog ↗ · 2026-10-23 缓存

OpenAI 发布 Habitat 在线存储平台扩展系列文章第二部分,介绍如何通过与 Azure 团队合作、采用协同管理容器的多租户方案,将底层 Azure Cosmos DB 扩展至服务超过 10 亿 ChatGPT 用户、500+ PB 数据的全球分布式存储。

0 人收藏 0 人点赞
#scalability

元测度的垂直切片瓦瑟斯坦距离

arXiv cs.LG ↗ · 2026-10-16 缓存

该论文提出了垂直切片瓦瑟斯坦距离(VSW),这是一种用于比较元测度(分布的分布)的可扩展度量。论文证明了其为有效度量,并具有与维度无关的统计收敛保证,在效率和精度上均优于现有方法。

0 人收藏 0 人点赞
#scalability

大家把 Git 放到 S3 上的方式都搞错了

Lobsters Hottest ↗ · 2026-10-15 缓存

一篇技术博客深入分析了把 Git 仓库放到对象存储(S3)上的常见误区,指出当前 S3-backed WAL 方案在写密集场景下的不足,并重新剖析了 Git 作为内容寻址存储加图数据库的数据模型对存储层的真实需求。

0 人收藏 0 人点赞
#scalability

@github:2025年9月至2026年8月期间,Git 活动量增长超过一倍,达到每月 4733 亿次事件。我们正在重建…

X AI KOLs Following ↗ · 2026-10-06 缓存

GitHub 报告称,Git 活动量同比增长超过一倍,达到每月 4733 亿次事件,同时 GitHub 正在重建其 Git 基础设施,以支持面向智能体(agent)、智能体规模的软件开发。文章详细介绍了面临的架构挑战,包括提交延迟瓶颈、写入吞吐量激增、引用(ref)争用,以及来自 CI 和代码扫描的读放大(read fan-out)问题。

0 人收藏 0 人点赞
#scalability

用于深度分类树的滚动时域近似分支-归约方法

arXiv cs.LG ↗ · 2026-10-02 缓存

提出一种新的滚动时域近似分支-归约方法,用于在具有连续特征的大规模数据集上训练近最优的深度分类树,在精度上优于启发式基线方法,同时具备远超全局最优求解器的可扩展性。

0 人收藏 0 人点赞
#scalability

安全的乐观锁耦合

Hacker News Top ↗ · 2026-10-01 缓存

一篇技术深度解析,介绍了并发二叉树中的传统锁耦合为何会在根节点处产生物理锁竞争,从而限制了随着 CPU 核心数增长而扩展的性能,并附上 16 核系统上的基准测试结果。

0 人收藏 0 人点赞
#scalability

@dabit3 的推文:https://x.com/dabit3/status/2104576471515779520

X AI KOLs Timeline ↗ · 2026-09-28 缓存

使用 Devin AI 代理大规模自动化创建像素级完美的产品教程,实现比人工教程更优的结果,并提高了一致性和并行处理能力。

0 人收藏 0 人点赞
#scalability

@rohanpaul_ai: Boris Cherny (@bcherny),Claude Code的创造者,之前也说过同样的话。AI在给予工具和自由时工作得更好。

X AI KOLs Timeline ↗ · 2026-09-28 缓存

Boris Cherny,Claude Code的创造者,强调AI工具在拥有自由和工具时比严格的工作流程工作得更好,因为通用学习系统扩展得更有效。这一见解是在代理主导开发的背景下讨论的。

0 人收藏 0 人点赞
#scalability

@omarsar0: 微软研究院的重磅论文。(收藏吧)他们同时运行超过1000个编码代理来测试一个可扩展的自组织…

X AI KOLs Timeline ↗ · 2026-09-28 缓存

微软研究院推出了Agensh,一个自组织的多代理框架,可扩展到超过1000个代理,展示了在编码任务中无需中央协调器即可提高测试通过率的能力。

0 人收藏 0 人点赞
#scalability

PostgreSQL SELECT DISTINCT 无法高效扩展

Hacker News Top ↗ · 2026-09-24 缓存

本文阐述了 PostgreSQL 的 SELECT DISTINCT 子句无法高效扩展的原因:它始终执行全量扫描匹配行,导致特定工作负载下出现性能瓶颈,并提供了相关见解和应对方案。

0 人收藏 0 人点赞
#scalability

@percyliang: Marin 坚信开放社区的力量。有如此多的数据集已被制作出来,存在于……

X AI KOLs Timeline ↗ · 2026-09-24 缓存

Marin 构建了可扩展的基础设施,用于处理 Hugging Face 上开放数据集中的 25T tokens,以训练其 535B 语言模型,并强调开放社区的力量。

0 人收藏 0 人点赞
#scalability

Redis 不是一个通过 TCP 交互的映射结构

Lobsters Hottest ↗ · 2026-09-23 缓存

这篇博客文章讨论了使用 Redis 和 H3 六边形坐标为零工经济配送应用中的路由引擎估计提供缓存解决方案,并着重介绍了 Redis 集群键分布和多键命令所面临的挑战。

0 人收藏 0 人点赞
#scalability

将大规模MoE训练保持在固定GPU内存内(20分钟阅读)

TLDR AI ↗ · 2026-09-23 缓存

本文介绍了限制大规模MoE训练中四个关键内存峰值的方法,使得在1M上下文长度下使用固定GPU内存进行训练成为可能,并且相比基线,吞吐量提升高达10.4倍。

0 人收藏 0 人点赞
#scalability

Toollery: Scaling LLM Agents to Thousands of Skills and Tools

arXiv cs.LG ↗ · 2026-09-22 缓存

Toollery是一种免训练的候选压缩框架,通过基于检索的方法提升了LLM代理工具和技能选择的可扩展性与效率。

0 人收藏 0 人点赞
#scalability

Agensh:将组织智能扩展到1,024个代理

Hugging Face Daily Papers ↗ · 2026-09-22 缓存

Agensh 是一个可扩展的自组织多代理系统,无需中央协调器,通过扩展代理数量来提高复杂任务的性能,在ProgramBench和pandoc等基准测试中显示出显著的测试通过率提升。

0 人收藏 0 人点赞
#scalability

@omarsar0: 我为Jev找到的最疯狂用例之一:验证器。我对此非常兴奋,至少想分享一下……

X AI KOLs Following ↗ · 2026-09-19 缓存

作者分享了Jev在构建AI代理框架自定义验证器的新用例,通过结合System One和System Two模型实现可扩展的测试时计算。

0 人收藏 0 人点赞
#scalability

用于可扩展贝叶斯推断的压缩活跃子空间

arXiv cs.LG ↗ · 2026-09-18 缓存

本文介绍了压缩活跃子空间(CAS),一种通过压缩参数空间来实现大型神经网络中可扩展贝叶斯推断的方法,同时保持预测性能。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈