capacity-allocation

标签

Cards List
#capacity-allocation

塑造潜在混合专家模型:从专家几何结构到逐层容量分配

arXiv cs.AI ↗ · 2026-10-15 缓存

该论文提出了 LatentMoE,将专家计算移至较低维的潜在空间,从而将专家输入维度和中间层宽度作为显式的设计选择。研究表明,与各层配置相同的 MoE 基线相比,采用近方形专家以及由内在维度指导的逐层容量分配,能够降低验证损失并提升下游任务性能。

0 人收藏 0 人点赞
#capacity-allocation

Adaptive Two-Level Allocation of a Conserved Capacity Budget Across Locations and Service Classes

arXiv cs.AI ↗ · 2026-08-11 缓存

The paper presents a two-level algorithm for allocating a conserved capacity budget across locations and service classes, proving it conserves the budget and converges in one iteration, and evaluates it for defending CDNs under volumetric attack.

0 人收藏 0 人点赞
#capacity-allocation

LM预训练的泛化动态(阅读时间17分钟)

TLDR AI ↗ · 2026-05-19 缓存

本文揭示,在预训练过程中,语言模型会频繁且突然地在模式匹配与泛化行为之间切换,这种现象被称为“模式跳跃”(mode-hopping),并提出了一个用于研究该现象的小型评估套件。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈