标签
DecoupleMix引入了一个系统框架,通过解耦类间和类内比率搜索来优化视觉语言模型的预训练数据混合,使用凸优化来提升可扩展性和性能,超越启发式基线。
本文分析了平坦最小值附近固定步长SGD的缩放极限,表明对于平坦度指数m≥2的目标函数,不变分布集中在尺度α^(1/m)上,且当m>2时收敛到非高斯平稳分布。
继OpenAI的CDC证明发布后,据报道GPT-5.6使用类似提示词解决了凸优化领域一个30年未解问题,并在Lean证明助手中验证了该解。
GPT-5.6 在一个关于梯度流长度的基础数学问题上显著超越了已发布的最先进水平,实现了指数级的改进。这标志着人工智能在推理复杂数学问题能力上的重大进步。
一条推文强调了斯坦福大学教授Stephen Boyd免费的凸优化课程和教科书,指出Citadel为此技能支付40万美元。该课程讲授最优投资组合配置,但强调优化器只有在信号具备真正优势时才有效。
介绍Simplex约束的稀疏Bagging (SCSB),一种训练后框架,利用袋外样本在概率单纯形上优化估计器权重,实现高达96%的集成压缩并改进校准。
本文揭示了,即使在条件良好的设置下,使用非二次正则化项的 Mirror Descent 比 Gradient Descent 对初始化敏感得多(指数级),这对强化学习和LLM后训练中的可重复性具有重要意义。
本文介绍了一种面向在线优化的曲率自适应跟随扰动的领导者(FTPL)算法,该算法采用时变扰动尺度,在非凸Lipschitz损失和强凸损失下均能实现最优遗憾界。
介绍了BoxLitE,这是一种针对DL-LiteH的知识库嵌入模型,利用凸优化实现弱忠实嵌入。论文表明,对于任何可满足的DL-LiteH知识库,都存在具有理想忠实性性质的BoxLitE嵌入。
本文介绍了CLD,一种基于凸优化的轻量级语言检测头(用于ASR),在不到100个训练样本下实现97-98%的准确率,同时将计算成本降低13倍,解决了5种语言和24种子方言的口音和方言鲁棒性问题。