选择大语言模型擅长与不擅长的任务

构建多Agent系统的另一个模式，是关于“类型化契约”的后续探讨。LLM在特定类型任务中表现卓越，但在另一类任务上则平庸无奇。我在多Agent系统中遇到的大多数痛苦，都源于未能正确区分这两类任务。 LLM真正擅长的领域是：**需要判断、没有唯一正确答案的任务**。例如： - 在这三个信号中，哪一个在此刻最重要？为什么？ - 面对如此杂乱的输入，最合理的解读是什么？ 这是模糊性下的推理，也是LLM带来的真正价值。即便你想为它编写确定性函数，也难以实现——因为这类问题本就不存在唯一的标准答案。 LLM表现平庸的领域是：**一致性计算**。当你要求LLM将一组输入转化为评分、排名或具体数值时，它会给出看似自信且合理的输出。但它并非在“计算”那个数字，而是在根据上下文匹配这类结果通常应有的样子。若调整输入顺序、修改一句表述，同样的数据就可能悄然生成不同的数值。整个过程不会报错，其输出的可信度在错误时与正确时如出一辙——这比普通漏洞更危险，因为连问题堆栈追踪都无处寻觅。 因此我最终采用的模式是：**LLM仅承担第一类任务**。所有属于第二类的任务都交给纯代码处理。 ```python # 欺骗性任务（若交给LLM执行） score = llm("请根据这些信号给出0-100分的评分") # 按照实际能力拆分任务 weights = llm.decide_which_signals_matter(inputs) # 判断性任务（模糊领域） score = composite_score_tool(inputs, weights) # 计算性任务（存在唯一正确答案） ```