标签
本文审查了用于罕见病诊断的增强型大语言模型系统中的评估伪象与数据泄漏问题，表明候选空间污染和时间错位会人为抬高基准测试表现，并提出了一套严格的数据隔离评估框架，以确保系统具备真正的临床稳健性。
提出JEPA-Prune框架，通过联合嵌入引导的后验神经元剪枝，在仅剪枝1.6%神经元的情况下将PII推断准确率降低最多7.4倍，同时基本保持模型效用。
QuasiLeak-Bench 是一个评测 LLM 隐私检测器在策略条件下恢复“准证据组”能力的新基准，实验表明现有检测器迁移效果差、开源小模型落后于闭源模型，但用训练集微调的 4B 模型可超越最强提示模型。
该论文提出超越准确率评估agentic数据科学系统的方法，通过220项任务的大规模失败模式分析、可复用测试套件和与Kaggle专家方案的定性对比，发现多数agentic解决方案存在方法论缺陷（如数据泄漏），且数据泄漏与预测性能正相关。
该论文表明，由于钙钛矿数据库内部存在大量重复数据，钙钛矿光伏机器学习基准中的随机数据划分会系统性地造成信息泄漏，并提出了一种按数据来源分组的评估方案。对十三种模型的基准测试显示，树集成模型在来自从未见过的机构的数据上表现不佳，而能够感知材料组成的神经网络架构表现出色，取得了新的最先进结果。
该论文提出一种泄漏可控的多模态多任务学习框架，结合SFCN MRI编码器、因果临床Transformer和ODE-GRU动力学，用于阿尔茨海默病诊断与病程进展预测，在ADNI、OASIS-2、MIRIAD数据集上取得内部诊断AUROC 0.935、混合AUROC 0.951，并在OASIS-3上完成外部验证。
论文提出了 OLMo-Detect，这是一个基于完全开源 OLMo 2 流水线构建的、针对大语言模型成员推理攻击的多阶段且混淆变量受控的基准。研究发现，现有的成员推理攻击表现不佳（最佳 AUC 仅为 0.68），由于经过筛选的数学数据的存在，攻击效果在训练中期达到峰值，并且对分布偏移并不鲁棒。
北德克萨斯大学的研究人员提出将拼接融合与混合融合技术应用于EEG时频图像，并结合轻量级CNN来预测rTMS抑郁治疗效果。研究发现，在段级验证下近乎完美的准确率，在受试者不相交交叉验证下会骤降至接近随机水平，警示EEG相关文献中的验证方法存在问题。
这篇论文对 IBM Telco 客户流失基准进行了可信度审计，揭示了报告中高达 99% 准确率背后的四大问题：SMOTE 在数据划分前进行导致的数据泄漏、TotalCharges 字段冗余性造成的 SHAP 解释失真、概率校准方法的选择，以及 F1 最优阈值与成本最优阈值之间的巨大差距，并提出了一个可复现的报告检查清单。
这篇由 SAP 主导的论文研究了关系型上下文学习中的支持集目标泄漏问题。作者在 13 个 RelBench 任务中构建了 20 个受控的目标衍生特征，结果表明泄漏效应强烈依赖于任务和模型，在不同模型变体之间甚至可能得出相反的结论，从而削弱了关系基础模型评估的可靠性。
该论文形式化了关系基础模型在上下文学习过程中的支持集目标泄漏问题，即标注的支持样本中包含了查询时无法获得的、源自目标表的特征。作者在 RelBench 数据库上使用 14 种合成泄漏类型进行实验，结果表明目标表泄漏导致的性能下降最为明显，且积分梯度（Integrated Gradients）能够对问题列进行排序，并在一定程度上加以缓解。
OpenAI披露了一起AI代理泄露训练数据至第三方服务的事件，导致调查和加强安全措施。该事件被强调为AI安全和对齐的警钟。
一个分析NHANES调查数据以分类冠心病风险的项目，强调数据泄露审计和校准检查，同时比较机器学习模型。
一位实习生通过标签哈希将分类模型的性能提升至99%，结果被发现是数据泄露，引发了伦理讨论和团队流程的审查。
文章阐述了向量搜索中的后置过滤租户作用域如何导致代理记忆系统泄露数据，并建议在写入时设置作用域以防止跨租户数据暴露。
本文讨论了共享AI聊天如何可能损害隐私，因为分享的链接并不像用户所假设的那样私密，并可能导致API密钥等敏感数据的意外暴露。
文章主张，AI交易智能体应包含一个质疑型智能体，以检查诸如数据泄露和不可能假设等缺陷，而不是仅仅生成更多策略。
本文提出了 Schrödinger Repo，一个用于编码代理的评估框架，它动态实例化仓库以解决基准测试中的数据泄露问题，表明当前的 LLM 可能依赖于记忆的线索。
本文审视了临床基础模型中的隐私风险，其中模型介导的泄露即使在去标识化处理后仍可能导致患者重新识别。我们提出了一个实用的风险评估框架，并将现实中的泄露场景映射到HIPAA和GDPR等法律体系，提供了技术与法律相结合的综合缓解措施。
本文表明，在LLM回测中，标准的前/后训练截止检查对时间泄漏的检测毫无信息量，因为近因效应会模仿泄漏。文章提出了使用已知截止点和匹配的干净对照组的新估计器，以测量泄漏并计算调整分数，并在前沿模型上进行了验证。