@rohanpaul_ai: 新的Salesforce AI研究发现，一旦你围绕一个较弱的模型调整代理的提示、工具和工作流程，复制……

X AI KOLs Timeline 论文
ai-research model-tuning agent-optimization salesforce-research enterprise-tasks

摘要

Salesforce AI研究显示，当围绕较弱的模型调整代理时，复制较强的模型可能会降低性能；相反，针对较弱模型失败的修正可以改善结果，而不会干扰现有设置。

新的Salesforce AI研究发现，一旦你围绕一个较弱的模型调整代理的提示、工具和工作流程，复制较强的模型可能会使情况更糟；针对其自身失败的修正效果更好。 较弱的模型不需要像Gemini那样思考；它需要Gemini来纠正其自身方法失败的地方。 Salesforce使用Qwen3-Coder-30B-A3B在7个企业任务上测试了这一点。 围绕Qwen调整代理设置将平均成功率从29.2%提高到78.0%。 一个更强的Gemini模型在相同设置下达到了93.6%，因此教Qwen复制Gemini看起来是显而易见的下一步。 相反，使用完整的Gemini运行来微调Qwen使成功率下降到63.1%，所有7个任务的性能都下降了。 Qwen学到了有用的知识，但它也复制了Gemini的规划方式，这不再适合围绕Qwen原始行为构建的设置。 解决方案是保留Qwen自己的失败运行，并让Gemini只纠正Qwen出错的步骤。 这将成功率提高到79.7%，而没有失去之前的收益。 教训：调整模型而不破坏已经围绕其工作的代理设置。
查看原文
查看缓存全文

缓存时间: 2026/09/22 22:00

Salesforce最新AI研究发现，当针对较弱模型优化代理的提示词、工具与工作流后，直接复制强模型反而可能导致性能下降；针对性修复其自身缺陷则效果更佳。

较弱模型无需模仿Gemini的思维模式，而应由Gemini重点修正其原生方案的缺陷环节。

Salesforce使用Qwen3-Coder-30B-A3B在7项企业级任务中验证了这一结论：

围绕Qwen优化代理配置后，平均成功率从29.2%提升至78.0%。

同配置下更强的Gemini模型达到93.6%的成功率，因此让Qwen模仿Gemini看似是合乎逻辑的下一步。

然而，用完整Gemini运行结果微调Qwen后，成功率反而降至63.1%，且所有7项任务表现均下滑。

Qwen虽学到了有用知识，但也照搬了Gemini的规划策略，而这套方法已不适配基于Qwen原有行为构建的系统。

最终解决方案是保留Qwen自身的失败运行记录，仅让Gemini修正其出错的具体步骤。

此方法将成功率推至79.7%，且未损失前期优化成果。

核心启示：调整模型时，不应破坏已围绕该模型构建的成熟代理系统。

相似文章

Salesforce运行自家AI Agents基准测试，你看到了吗？

Reddit r/ArtificialInteligence

讨论Salesforce的CRMArena-Pro基准测试，结果显示代理在单轮任务中成功率为58%，在多轮任务中骤降至35%；并给出实用建议：将代理工作流拆分为狭窄阶段，以减少错误累积。