标签
请求LLaMA维护者实现一个名为'GPU热专家重载'的功能，以提高具有中等活跃参数的MOE模型的解码速度，使其在像3090这样的GPU上更易于本地使用。
讨论AI智能体循环中被忽视的解码速度延迟成本，影响整体性能。
本文解释了在RAG应用中，预填充速度比解码速度更重要，并讨论了为何AMD的Strix Halo APU在交互式使用场景中表现不佳。