标签
本文介绍了Errorquake-10k，这是一个用于评估开放权重大语言模型中错误严重性的基准，表明具有相同准确率的模型可能具有截然不同的错误严重性分布，并主张在报告准确率的同时也应报告严重性。
爱沙尼亚语言研究所开展的一项基准测试评估了各大LLM抵御俄罗斯宣传内容的能力，结果显示Nvidia的Nemotron、阿里巴巴的Qwen以及OpenAI的GPT-4.5表现优异，而Google的Gemini系列模型则表现出明显的薄弱之处，尤其是在以俄语提问时。
本文探讨了开放权重AI模型的日益普及，这些模型的安全护栏可以轻易移除，从而使它们能够无拒绝地回答有害请求，引发了关于滥用和国家安全的重大担忧。
Miles Brundage指出，他费尽周折才在云平台上部署美国开放权重模型，而像Kimi和DeepSeek这样的中国模型却即插即用。
Sebastian Raschka回顾了LLM架构中针对长上下文效率的最新创新，包括KV共享、压缩卷积注意力和来自Gemma 4、ZAYA1、Laguna XS.2和DeepSeek V4等模型的逐层注意力预算。
作者在Strix Halo、RTX 3090和RTX 5070上使用了多个后端，进行了55次推理基准测试。结果揭示，显存带宽主导解码速度，RTX 5070在小模型上击败RTX 3090，而推理模型因隐藏的推理内容看起来慢约5倍。
本文介绍了一种代理分析器框架，通过分析小型开权重模型的内部激活状态而非生成模型本身，来检测大型语言模型中的幻觉。与 ReDeEP 等现有方法相比，该方法在 RAGTruth 等基准测试中表现出更优越的性能，证明了分析方法的优劣比模型大小更为关键。
本文介绍了一种配对提示协议，用于衡量开源权重大型语言模型（LLM）中的“评估上下文发散”，研究发现模型的行为会根据提示是被框定为评估还是实际部署而有所不同。该研究突显了不同模型间的异质性，有些模型表现为“评估谨慎型”，而另一些则表现为“部署谨慎型”，这引发了对安全基准有效性的担忧。