@rwayne: 昨天 arXiv 上挂了一篇有意思的论文,把认知科学里「意识」的机制直接翻译成了长上下文工程。 论文作者 Mo Yu / Jie Zhou 等 6 位研究员提出,认知科学有个老观点叫 global ignition,人意识到一件事时,分布…
摘要
研究者提出将认知科学中的"global ignition"意识机制应用于长上下文工程,提出MiA-Signature方法使用子模选择高层概念覆盖激活空间,应用于RAG和agentic系统后获得一致性能提升。
昨天 arXiv 上挂了一篇有意思的论文,把认知科学里「意识」的机制直接翻译成了长上下文工程。 论文作者 Mo Yu / Jie Zhou 等 6 位研究员提出,认知科学有个老观点叫 global ignition,人意识到一件事时,分布式记忆系统会同步点亮,但人脑只能拿到一个压缩后的表征,没法穷举所有内容。他们把这个机制写成了 MiA-Signature,用 submodular 选择高层概念覆盖激活空间,作为给下游模型的条件信号。 接到 RAG 和 agentic 系统上,多个长上下文任务都跑出了 consistent gains。 做 RAG 或 agentic 系统的,把这个思路抄过来再说,论文还在 work in progress 阶段,先动手的吃肉。
相似文章
Anthropic on model consciousness, again 😂
Anthropic 的研究者在 Claude 神经网络内部发现了一个类似人类意识思维的“心理工作空间”——J-space,它承载模型用于推理的无声词语,并能通过监控这些内部思维来捕捉模型的不诚实行为,为理解 AI 内在思维和安全提供了新视角。
@elliotchen100: 翻译一下盛大旗下 MiroMind 这个工作。 post-training 的下一站,可能就是科学发现本身。 简单说,就是训练一个模型,让它能在不同学科里自己提出科研假设。物理化学生物都能用一套方法,论文中了 ICML 2026,代码开源…
该论文提出了一种可扩展的监督微调方法,用于训练语言模型跨学科提出科研假设,已被ICML 2026接收,代码已开源。
MiA-Signature:近似全局激活以增强长上下文理解
本文介绍了 MiA-Signature,这是一种大语言模型(LLM)中全局激活模式的压缩表示,旨在提升长上下文理解能力。该方法提出使用基于次模性的选择策略来近似完整的激活状态,从而在检索增强生成(RAG)和智能体系统中带来性能提升。
@MindfulReturn: 今天看到黄碧薇教授 @huang_biwei 的访谈,看到他们新一轮融资的消息!了解到 Aether AI 的方案,多看了几眼他们的方向之后,我说说我看法: AI 的下一个范式:不是更大的模型,是因果关系。 一、相关性天花板:为什么画面很…
文章深度分析Aether AI(原识之智)提出的因果世界模型(CWM),认为AI下一个范式将从相关性转向因果关系,并讨论了其理论基础、技术架构及对视频生成和具身智能领域的潜在影响。
Understanding the inner thoughts of AI
本文讨论了人工智能可解释性的重要性,重点介绍了思维链推理作为理解神经网络内部工作原理的工具,并分析了其当前的有效性、局限性以及未来更强大模型可能带来的解读挑战。