scalability

标签

Cards List
#scalability

水平扩展 Git:我们如何超越 Multi-Raft

Lobsters Hottest ↗ · 13小时前 缓存

Enroute 博客文章介绍了他们如何用 Raft 复制结合 Vertical Paxos 故障切换取代原有的 Multi-Raft 设计,在 0.4.0 版本中实现了每个集群最多 300,000 个仓库的水平扩展能力。

0 人收藏 0 人点赞
#scalability

基于局部因果父节点发现的时间序列结构学习

Hugging Face Daily Papers ↗ · 2天前 缓存

一篇新论文提出了迭代时间父节点发现(ITPD),这是一种可靠且完备的基于约束的方法,用于在具有因果非平稳性的多变量时间序列中学习因果结构。该方法采用从局部到全局的策略,以低阶条件独立性检验替代高阶检验。基准测试表明,ITPD 在 F1 分数和运行时间方面处于帕累托前沿,在包含 2000 个节点的图上,运行速度最高可达 PCMCI 的 40.9 倍。

0 人收藏 0 人点赞
#scalability

问题总是出在 DNS 上,那我们为什么还要自己运行 DNS 呢?

Hacker News Top ↗ · 5天前 缓存

S2 的工程博客解释了他们在尝试支持每个 basin 下无限数量的子域名时,为何会触及 Route53 的 API 速率限制(每秒 5 次 UPSERT 操作),以及他们如何用自定义的权威 DNS 服务器取而代之,直接以其 Cloud Spanner basin 数据库作为后端,从而实现强一致性并支持无限数量的记录。

0 人收藏 0 人点赞
#scalability

OpenAI 如何扩展 Git规模

OpenAI Blog ↗ · 2026-11-02 缓存

OpenAI 为其 monorepo 构建了 Pando,一个全新的水平可扩展 Git 后端,以应对大规模的 agent 驱动开发,将中位推送延迟降低了近 5 倍,每天服务接近 1PB 的 Git 数据,同时保持与 Git 协议的兼容性。

0 人收藏 0 人点赞
#scalability

你们是如何大规模处理 AI 图像/视频内容审核的?

Reddit r/artificial ↗ · 2026-11-02

一位从业者向社区请教如何大规模开展 AI 图像和视频内容审核(日上传量超过 100 万),希望获得有关开源模型、Sightengine 和 AWS Rekognition 等商业 API、混合架构、成本优化,以及误报与漏报之间权衡的建议。

0 人收藏 0 人点赞
#scalability

扩展基于 Transformer 的能量模型以实现高质量图像合成

arXiv cs.LG ↗ · 2026-10-27 缓存

该论文提出了 Transformer 能量模型(TEM),通过在潜空间中构建可扩展的 Transformer 能量函数并进行多层能量聚合,实现了无需无分类器引导的高质量图像生成(在 ImageNet 256×256 上的 FID-50K 达到 3.82),并验证了能量模型(EBM)在组合生成、零样本修复与分布外检测方面的能力。

0 人收藏 0 人点赞
#scalability

快速扩展在线存储以服务超过 10 亿 ChatGPT 用户(第二部分)

OpenAI Blog ↗ · 2026-10-23 缓存

OpenAI 发布 Habitat 在线存储平台扩展系列文章第二部分,介绍如何通过与 Azure 团队合作、采用协同管理容器的多租户方案,将底层 Azure Cosmos DB 扩展至服务超过 10 亿 ChatGPT 用户、500+ PB 数据的全球分布式存储。

0 人收藏 0 人点赞
#scalability

元测度的垂直切片瓦瑟斯坦距离

arXiv cs.LG ↗ · 2026-10-16 缓存

该论文提出了垂直切片瓦瑟斯坦距离(VSW),这是一种用于比较元测度(分布的分布)的可扩展度量。论文证明了其为有效度量,并具有与维度无关的统计收敛保证,在效率和精度上均优于现有方法。

0 人收藏 0 人点赞
#scalability

大家把 Git 放到 S3 上的方式都搞错了

Lobsters Hottest ↗ · 2026-10-15 缓存

一篇技术博客深入分析了把 Git 仓库放到对象存储(S3)上的常见误区,指出当前 S3-backed WAL 方案在写密集场景下的不足,并重新剖析了 Git 作为内容寻址存储加图数据库的数据模型对存储层的真实需求。

0 人收藏 0 人点赞
#scalability

@github:2025年9月至2026年8月期间,Git 活动量增长超过一倍,达到每月 4733 亿次事件。我们正在重建…

X AI KOLs Following ↗ · 2026-10-06 缓存

GitHub 报告称,Git 活动量同比增长超过一倍,达到每月 4733 亿次事件,同时 GitHub 正在重建其 Git 基础设施,以支持面向智能体(agent)、智能体规模的软件开发。文章详细介绍了面临的架构挑战,包括提交延迟瓶颈、写入吞吐量激增、引用(ref)争用,以及来自 CI 和代码扫描的读放大(read fan-out)问题。

0 人收藏 0 人点赞
#scalability

用于深度分类树的滚动时域近似分支-归约方法

arXiv cs.LG ↗ · 2026-10-02 缓存

提出一种新的滚动时域近似分支-归约方法,用于在具有连续特征的大规模数据集上训练近最优的深度分类树,在精度上优于启发式基线方法,同时具备远超全局最优求解器的可扩展性。

0 人收藏 0 人点赞
#scalability

安全的乐观锁耦合

Hacker News Top ↗ · 2026-10-01 缓存

一篇技术深度解析,介绍了并发二叉树中的传统锁耦合为何会在根节点处产生物理锁竞争,从而限制了随着 CPU 核心数增长而扩展的性能,并附上 16 核系统上的基准测试结果。

0 人收藏 0 人点赞
#scalability

@dabit3 的推文:https://x.com/dabit3/status/2104576471515779520

X AI KOLs Timeline ↗ · 2026-09-28 缓存

使用 Devin AI 代理大规模自动化创建像素级完美的产品教程,实现比人工教程更优的结果,并提高了一致性和并行处理能力。

0 人收藏 0 人点赞
#scalability

@rohanpaul_ai: Boris Cherny (@bcherny),Claude Code的创造者,之前也说过同样的话。AI在给予工具和自由时工作得更好。

X AI KOLs Timeline ↗ · 2026-09-28 缓存

Boris Cherny,Claude Code的创造者,强调AI工具在拥有自由和工具时比严格的工作流程工作得更好,因为通用学习系统扩展得更有效。这一见解是在代理主导开发的背景下讨论的。

0 人收藏 0 人点赞
#scalability

@omarsar0: 微软研究院的重磅论文。(收藏吧)他们同时运行超过1000个编码代理来测试一个可扩展的自组织…

X AI KOLs Timeline ↗ · 2026-09-28 缓存

微软研究院推出了Agensh,一个自组织的多代理框架,可扩展到超过1000个代理,展示了在编码任务中无需中央协调器即可提高测试通过率的能力。

0 人收藏 0 人点赞
#scalability

PostgreSQL SELECT DISTINCT 无法高效扩展

Hacker News Top ↗ · 2026-09-24 缓存

本文阐述了 PostgreSQL 的 SELECT DISTINCT 子句无法高效扩展的原因:它始终执行全量扫描匹配行,导致特定工作负载下出现性能瓶颈,并提供了相关见解和应对方案。

0 人收藏 0 人点赞
#scalability

@percyliang: Marin 坚信开放社区的力量。有如此多的数据集已被制作出来,存在于……

X AI KOLs Timeline ↗ · 2026-09-24 缓存

Marin 构建了可扩展的基础设施,用于处理 Hugging Face 上开放数据集中的 25T tokens,以训练其 535B 语言模型,并强调开放社区的力量。

0 人收藏 0 人点赞
#scalability

Redis 不是一个通过 TCP 交互的映射结构

Lobsters Hottest ↗ · 2026-09-23 缓存

这篇博客文章讨论了使用 Redis 和 H3 六边形坐标为零工经济配送应用中的路由引擎估计提供缓存解决方案,并着重介绍了 Redis 集群键分布和多键命令所面临的挑战。

0 人收藏 0 人点赞
#scalability

将大规模MoE训练保持在固定GPU内存内(20分钟阅读)

TLDR AI ↗ · 2026-09-23 缓存

本文介绍了限制大规模MoE训练中四个关键内存峰值的方法,使得在1M上下文长度下使用固定GPU内存进行训练成为可能,并且相比基线,吞吐量提升高达10.4倍。

0 人收藏 0 人点赞
#scalability

Toollery: Scaling LLM Agents to Thousands of Skills and Tools

arXiv cs.LG ↗ · 2026-09-22 缓存

Toollery是一种免训练的候选压缩框架,通过基于检索的方法提升了LLM代理工具和技能选择的可扩展性与效率。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈