normalization

提出 LayerRoPE，将 Transformer 中隐式的深度位置编码显式化：用单一共享 γ 向量与深度条件标量替代逐层 γ，在参数减少、FLOPs 几乎不变的情况下，在最高 512 层的深度上实现更稳定的训练与显著更高的计算效率（达到 Pre-Norm 1.3B 损失所需算力减少 3.4 倍）。

本文介绍了 DepthBench，一个通过改变宽度-深度比率来研究 Transformer 中计算深度的可控基准。研究发现，像 HC 和 FullAttnRes 这样的残差连接设计是将架构深度转化为有效计算的关键。

CryptoL是一个统一的加密货币多变量时间序列预测框架，通过缓解尺度主导和强制执行物理约束来提高预测准确性和金融有效性。

OntologyAligner 提出一个三阶段框架，结合本体对齐检索和LLM重排序用于生物医学本体归一化，在HPO任务上实现了最先进的性能，并引入了PhenoNormBench基准。

本文提出了三角模糊重缩放距离（d_TR），这是一种将归一化直接集成到距离计算中的度量，用于比较三角模糊数，适用于异构数据应用。

本文表明，卷积网络中的序列池化归一化提供了超越感受野的全局上下文，满足序列标注所需的大部分上下文，并在网络消融研究中影响归因分析。

本文介绍了V-Simba，一种视觉RL架构，通过添加归一化层和逐点卷积来提高样本效率和稳定性。它在DMC、Adroit和Meta-World基准测试中达到或超越了最先进的方法，同时比DrQ-v2更具计算效率。

This paper unifies Euclidean residual connections and geodesic normalization on the hypersphere, introducing a one-parameter family of angular retractions called p-SpheretNorm. The proposed norm-preserving algebraic methods outperform existing deep connection schemes on nanoGPT, showing the exponential map is just one end of a spectrum.

Mojibake是一个为C11/C++17设计的自包含Unicode 17库，提供归一化、大小写转换和字符数据库功能，零依赖。

本课程笔记总结了从原始Transformer到现代LLM的架构演变，重点介绍了预归一化、RMS归一化、RoPE等趋同演化，并提供了超参数选择建议。

一篇博客文章，为关系模型中键和规范化的必要性辩护，认为它们反映了关于现实进行连贯话语所需的本体论条件，反驳了关于定义键和域的实际困难之类的批评。

提出了LieBN，一种面向李群的批量归一化框架，适用于SPD流形、旋转流形和相关流形，具有理论保证并经过大量实验验证。

这篇来自PyTorch的博客文章介绍了针对LayerNorm和RMSNorm等归一化操作的新型内核融合技术，通过减少内存IO开销实现了显著的加速。这些技术包括Lazy Pre-Norm和Multi-CTA Norm Fusion，在与GEMM融合时可隐藏高达90%的归一化延迟，而FlashNormAttention算法可实现高达35%的内核加速。

Meta 引入了诸如 Lazy Pre-Norm、Multi-CTA Norm Fusion 和 FlashNormAttention 等技术，将归一化操作与 GEMM 和注意力核融合，在 NVIDIA B200 硬件上隐藏多达 90% 的归一化延迟，并在注意力块中实现高达 35% 的延迟降低。

Wiola是一种新颖的小型语言模型（SLM）架构，引入了五个独立设计的组件——SRPE、GCLA、ATM、DSFF和WiolaRMSNorm——旨在提高效率和连贯性，发布了从1.2亿到15亿参数的多个规模，并与HuggingFace Transformers集成。

本文讨论了在Subversion版本控制系统中，不同操作系统之间Unicode文件名组合（NFC与NFD）面临的挑战，并提出了处理这些差异的解决方案。

本文提出TOPSIS-RAD，这是TOPSIS方法的一种改进版本，引入了决策者定义的参考水平（VPL和DPL），以解决与偏好不一致、异常值敏感性和排名逆转等问题。

文章比较了归一化RGB值的两种方法（除以255 vs 除以256），并解释了浮点数转换和舍入的后果，包括在极端值处不均匀的区间宽度。

本文系统地研究了LLM归一化层中的缩放向量，揭示了它们通过自放大预条件效应优化训练，并提出了三种轻量级改进方案，在几乎不增加开销的情况下提升性能和扩展行为。

本文提出了一种新的用于线性逆问题的基于能量的模型，该模型学习归一化后验密度，克服了扩散模型的局限性。它实现了无偏采样、自适应采样和盲退化估计，在ImageNet、CelebA和AFHQ上具有竞争力的性能。