有没有人成功让 Gemma 4 12B（统一音频）在带有大型系统提示时真正关注语音？

我正尝试使用 **Gemma 4 12B**——这是一种新型无编码器的统一模型（音频/视觉/文本合一）——构建一个一次完成的 **音频 → 回复** 语音助手：直接输入录制的 WAV 文件加上系统提示，就能直接以文本形式获得回复，从而将独立的 ASR 和 LLM 步骤合并到单个模型中（TTS 仍然在后处理）。在 **极简提示** 下效果很好——模型明显能听到音频并做出回应。然而，一旦 **文本提示变得庞大/密集**（我的提示约 21k 个 token：包含详细指令和工具定义），模型就基本 **停止关注音频**——回复时仿佛音频不存在（泛泛而谈或产生幻觉），或者只是弱模式地转录。将提示缩短后，音频关注能力又恢复了。在三种不同框架下表现一致，因此不太可能是框架特有问题： - **vLLM**（gemma4-unified image + pip install av），音频作为 base64 audio_url - **llama.cpp**（--mmproj, input_audio content, chat_template_kwargs {enable_thinking:false}） - **LiteRT-LM**（gemma4-12b, gpu） 感觉像是当音频与长而密集的文本上下文竞争时，存在一个固有的注意力/饱和度上限。（值得注意的是，**E4B** 使用微型提示时音频关注度保持良好——因此我正将其作为一个小型音频前端使用。） 请教各位尝试过的朋友： 1. 有没有人成功让 **12B 统一音频模型** 在带有大型系统提示（大量指令/工具）时可靠地关注语音？ 2. 这是统一架构的已知限制，还是服务/配置方面的问题（音频在序列中的位置、注意力设置、聊天模板、采样）？ 3. 变通方法——音频优先与音频末位排序、提示结构设计、注意力/RoPE 调整？ 运行在 NVIDIA GB10（Blackwell）上。