标签
作者已更新其 NInfer 分叉，添加了 rk2v4-e8 量化选项用于 KV 缓存，使得在单张 RTX 4090 上实现最高25万-35万令牌上下文，无需溢出到系统内存，并进行了优化以提升生成速度。
介绍了 DFlash 2，一种用于与 Qwen3.8-27B 模型进行投机解码的块扩散草稿器，在基准测试中展示了改进的接受长度和吞吐量。
本文介绍了基于 CUTLASS 的内核，将 SwiGLU 激活与 GeMM 在切片级进行融合，在 NVIDIA H100 上实现了高达 2.47 倍的加速，以用于高效 LLM 推理。
本文突出强调了 Jan Magnus 的论文'A Gentle Introduction to Matrix Calculus'，该论文于2024年发表在《Journal of Econometrics》上，是计量经济学、机器学习、统计学和优化等领域的清晰且宝贵的资源。
一条推文，建议NVIDIA DGX Spark的所有者优先使用nvfp4以获得最佳性能。
本文解释了2004年的RuneScape如何优化数据传输以在56k拨号调制解调器上运行多人RPG，详细介绍了网络限制、加密和客户端反编译。
这篇 MIT 论文介绍了一种用于深度学习架构统一表示的数学框架，能够实现自动化分析和优化。其目标是用一种通用语言取代手动设计，该语言可以生成图表、图谱或 PyTorch 代码。
本文提出了一种在实时应用中降低LLM尾部延迟的经济高效方法，通过发送重复请求并选择更快的响应，在生产实验中优于付费优先级层。
本文对6G-IoT波束成形优化进行了系统的机器学习研究，比较了网络、环境、设备和视觉特征组的预测能力，并应用聚类方法以提升性能。
本文介绍了一个受ADMM启发的动量框架（AIM）和一个新的优化器RADAR，从理论上将动量解释为残差驱动的乘子校正，实验表明在强自适应基线上取得了持续改进。
介绍“Training Under Challenge”（挑战下训练），这是一个可执行证书框架，利用架构有效的过程构建替代模型，并估计神经网络检查点的经验全局最优性差距，具有理论保证以及基于 ResNet-18 蒸馏和量化去噪的实验。
本文分析了随机低维重参数化何时能训练神经网络，推导出随机切片残差的取向分辨主公式，并引入RaMaN——一个可扩展框架，能以极低内存成本预测所需潜在维度。
本文介绍了ε-MemEvo，一个用于基于LLM的程序演化中跨任务知识迁移的框架，它将策略记忆存储为自然语言摘要，并使用自适应注入门控。该框架在8个优化基准上均取得了性能提升，计算开销不到1%。
A deep dive into Ruby's internal ar_table structure for small hashes, explaining the linear lookup mechanism and exploring potential optimizations.
本文提出一种新的非对称鲁棒有界稀疏平滑（aR）损失函数，用于l1范数惩罚的几何孪生支持向量机（aRSGTSVM），以处理带有标签噪声和特征噪声的分类与回归任务，实现特征选择并提高鲁棒性。在合成数据集、UCI数据集以及中国股市指数跟踪上的实验表明了其优越性。
This paper introduces PAIR, a pairwise-aware inclusion reweighting method for adaptive rollout allocation in RLVR, improving sample efficiency and accuracy over pointwise allocators by correcting biases in pairwise gradient estimation.
本文提出自适应混合粒子群优化（AHPSO），利用群体多样性的sigmoid函数在搜索过程中自动调节梯度影响。结果表明，在特定问题类别上，它优于标准粒子群优化，并能与CMA-ES相媲美，但优势并非普遍适用。