@rohanpaul_ai：Google DeepMind 新论文发现，让 LLM 基于关键词（而非嵌入）构建主题树，能在严格隐私约束下得到更清晰的主题地图……

X AI KOLs Timeline 论文
privacy-preserving differential-privacy topic-modeling llm deepmind keywords

摘要

Google DeepMind 论文提出 CALLIOPE，让 LLM 基于关键词（而非嵌入聚类）构建主题树，在严格隐私约束下生成更清晰的主题地图，人类评分在所有数据集上都优于 URANIA。

Google DeepMind 的一篇新论文发现：在严格隐私约束下，让 LLM 基于关键词（而非嵌入）构建主题树，能得到更清晰的主题地图。 各团队都想知道用户向聊天机器人提了什么问题，但又不能暴露任何个人隐私。通常的隐私保护方法是对嵌入向量加噪声后进行聚类，而在严格隐私设定下，它返回的聚类数量太少，命名也很粗糙。 CALLIOPE 的做法是：先让 LLM 为每篇文档打上几个关键词，并加入噪声，使只有高频关键词能保留下来；然后让 LLM 基于这些关键词提出主题，并将文档归入这些主题中。 在测试中最严格的隐私设定下，人类评分者在全部 3 个数据集上都更偏好 CALLIOPE 而非基于嵌入的 URANIA，最高以 76% 对 18% 胜出。 该方法会多消耗 2 到 5 倍的 token。如果要做隐私安全的使用情况报告，建议先用 LLM 构建主题，并在预算中计入这部分成本。
查看原文
查看缓存全文

缓存时间: 2026/10/29 07:51

Google DeepMind 的新论文发现：在严格的隐私保护条件下，让大语言模型基于关键词（而非嵌入向量）构建主题树，能得到更清晰的主题地图。

团队希望了解用户向聊天机器人提出了什么问题，同时又不暴露任何个人信息。常见的隐私保护方法是对嵌入向量添加噪声后进行聚类，但在严格的隐私设定下，这种方法返回的聚类数量过少，且主题命名质量较差。

CALLIOPE 的做法是让大语言模型为每个文档标注几个关键词，并添加噪声，使得只有高频关键词能够保留下来。随后，大语言模型基于这些关键词提出主题，并将文档归入对应主题。

在测试中最严格的隐私设定下，人工评分者在全部 3 个数据集上都更倾向于 CALLIOPE 而非基于嵌入向量的 URANIA，偏好比例最高达到 76% 对 18%。

该方法的 token 消耗是基线方法的 2 到 5 倍。对于需要隐私安全的使用报告，建议优先采用大语言模型构建主题的方法，并在预算中考虑这部分开销。

相似文章

谷歌在大语言模型方面的自我改进（阅读需18分钟）

TLDR AI

谷歌研究人员提出了一种无需数据的同策略自蒸馏框架，让大语言模型根据粗略的主题描述，自行合成由查询和特权推理轨迹组成的训练课程，从而在无需外部监督的情况下，在文本和多模态基准测试中实现自我提升。

@dair_ai: https://x.com/dair_ai/status/2056018543850754283

X AI KOLs Following

一份关于5月11日至17日顶级人工智能论文的综述，涵盖了用于长上下文预训练的Lighthouse Attention、grep与嵌入检索在编码代理中的对比，以及揭示LLMs中几何计算器的机制可解释性工作。