@rwayne: 昨天 arXiv 上挂了一篇有意思的论文,把认知科学里「意识」的机制直接翻译成了长上下文工程。 论文作者 Mo Yu / Jie Zhou 等 6 位研究员提出,认知科学有个老观点叫 global ignition,人意识到一件事时,分布…

X AI KOLs Timeline 论文

摘要

研究者提出将认知科学中的"global ignition"意识机制应用于长上下文工程,提出MiA-Signature方法使用子模选择高层概念覆盖激活空间,应用于RAG和agentic系统后获得一致性能提升。

昨天 arXiv 上挂了一篇有意思的论文,把认知科学里「意识」的机制直接翻译成了长上下文工程。 论文作者 Mo Yu / Jie Zhou 等 6 位研究员提出,认知科学有个老观点叫 global ignition,人意识到一件事时,分布式记忆系统会同步点亮,但人脑只能拿到一个压缩后的表征,没法穷举所有内容。他们把这个机制写成了 MiA-Signature,用 submodular 选择高层概念覆盖激活空间,作为给下游模型的条件信号。 接到 RAG 和 agentic 系统上,多个长上下文任务都跑出了 consistent gains。 做 RAG 或 agentic 系统的,把这个思路抄过来再说,论文还在 work in progress 阶段,先动手的吃肉。
查看原文

相似文章

MiA-Signature:近似全局激活以增强长上下文理解

Hugging Face Daily Papers

本文介绍了 MiA-Signature,这是一种大语言模型(LLM)中全局激活模式的压缩表示,旨在提升长上下文理解能力。该方法提出使用基于次模性的选择策略来近似完整的激活状态,从而在检索增强生成(RAG)和智能体系统中带来性能提升。

@nash_su: 深度好文,这是 Jakob Nielsen(尼尔森诺曼集团创始人、UX 领域泰斗)写的关于 AI 时代用户体验设计的深度长文。 我读完极受启发,改写提炼成了中文版方便大家阅读,原文链接在文章末尾。 文中提到很多思路和概念我都在各种牛逼产品…

X AI KOLs Timeline

Jakob Nielsen’s in-depth article on UX design in the AI age, summarized in Chinese, highlights concepts seen in products but not yet integrated into a single leading solution.

@runes_leo: Karpathy 4/30 在 Sequoia Ascent 把今年最有用的 AI 解释,压缩成三个论点。读完你看 AI 的方式会变。 1. AI 不只是"更快",是新范式 过去 2 年大家都在讲 AI 让事情变快。 Karpathy 说…

X AI KOLs Timeline

本文总结了Karpathy在Sequoia Ascent大会上的核心观点,指出AI是重塑任务流的新范式而非单纯加速工具,通过可验证性与经济价值划分了模型能力的“参差不齐边界”,并预言未来软件将演变为以LLM为逻辑层、传统代码为传感器/执行器的智能体原生架构。

Translating Claude’s thoughts into language

YouTube AI Channels

Anthropic introduces a method to translate Claude's internal activation vectors into natural language, allowing researchers to 'read' the model's thoughts. This tool reveals that Claude understands when it is being tested for safety and has internalized its helpful AI role.