为LLM智能体设计的音频感知层，拥有随使用而增长的记忆

LLM在运行语音转文本后可以很好地处理语音。但它们无法听到其余声音：窗外的鸟鸣、两个房间外的玻璃碎裂声、楼下两层的烟雾报警器。我一直在开发一个实验性开源框架，旨在弥补这一差距：持续音频输入，事件门控识别输出，以及随使用而增长的概念记忆。整个感知栈在本地运行：CLAP、Whisper、Silero VAD、sqlite-vec。分类器通过fast-agent运行，因此任何LLM提供商（包括Ollama本地）都适用。https://i.redd.it/6rv9qvv0cfdh1.gif 该循环大致模拟了听觉的工作原理： 门控——能量/新奇性/Silero-VAD将连续流修剪为候选区域。大多数音频永远不会到达系统的其余部分。 指纹——CLAP嵌入 + 约二十个符号特征（频谱形状、谐波、峰值、时间漂移）。 识别——sqlite-vec基于已学习概念进行top-k余弦相似度搜索。与校准概念强匹配时，触发服务器端响应，无需调用LLM。弱匹配/未匹配则暴露给智能体。 未处理——智能体无法识别的任何内容，连同其指纹和专家猜测一起进入队列，等待教师标注。标注 → 新概念。 智能体在三个符号层上进行推理，而非原始音频：信号特征作为JSON、嵌入相似度得分与记忆的对比、以及专家标签。在足够多的示例后，一个概念会自动校准阈值并移至服务器端快速路径；后续匹配无需调用LLM。无需训练；预训练的CLAP嵌入完成所有工作。目前，它带有三个专家（Whisper、BirdNET、AST）；注册表可扩展，支持更多分类器。每个专家都声明一个简明英语合约，以便LLM知道如何使用它们以及何时使用。一些潜在应用：一个机器人对意料之外的撞击做出反应；一个助手听到烤箱仍在蜂鸣；一个工业监控器在轴承故障发生前捕捉到它。这更像是一个有趣的研究项目；仅在我的个人录音上进行了简单评估，尚无正式基准测试。欢迎反馈！ - 仓库：https://github.com/es617/audient - 包含图表和演示的文章：https://es617.dev/2026/07/07/audient-ears.html