一个AI聚合器？

背景（如果医学话题让你厌烦，请跳过）：我每天使用ChatGPT来回答医疗问题，这与我的全职角色（基本无薪）相关，我是一名临终病人——我的父母——的主要护理者，他们患有癌症、痴呆症以及新冠引起的一些严重并发症。这在医学上被归类为“全面护理”，意味着类似于ICU中的ALS患者，病人完全无法自理日常生活。我有时会与ChatGPT来回交流超过一个小时，解读症状、化验结果、生命体征以及一些相当高级的床边护理程序。主要是因为从护理团队（至少有6个不同专科）那里得到回复可能需要几天甚至几周，即使通过直接消息应用持续沟通也是如此。不幸的是，医学界并没有提供我所想象的那种对临终病人的支持水平。大多数人被送进临终关怀机构，我亲自“视察”过这些机构，发现对于这样一位重度残障人士来说，它们并不理想。如果说这个应用以及其他类似应用是令人震惊的游戏规则改变者，那绝对是轻描淡写。我从事这项工作已经8年了，过去需要数周才能弄清楚的事情，现在在一个小时内就能得到全面解释。我可以添加大约70页的医疗数据，它在瞬间就能基本上给出与主治医生提供的完全相同的“利弊分析”，关于一种治疗与另一种治疗的比较，同时还附有研究来反驳一些过时的治疗方法——这些方法常常被护士、执业护士和医师助理重复，似乎更多是出于医疗传统，而非基于最新研究的共识（即便存在共识）。昨天，我上传了一份传染病呼吸道培养分析报告，结果显示一种极为罕见的感染，被归类为“超级细菌”（S. Maltophilia），并指出了一些极其重要的护理预防措施，而这些措施在医院里完全没有被提及——我猜测是因为罕见性。这里最关键的一点是，重要信息常常没有被传达给家属，而护理者可以对生活质量产生巨大影响。问题：在与ChatGPT的这些互动过程中，会有一个疑问：“这是医学界的共识观点吗？还是LLM出于某种原因决定强调的一个异常观点？”我认为在任何科学或金融领域，当用户需要做出改变方向的决策时，都会试图问这个问题。最好的前进方向似乎是聚合所有开源平台，形成一个“圆桌会议”，让它们互相辩论，勾勒出最接近共识的观点，同时指出仍然存在分歧的地方。以下是ChatGPT关于聚合会是什么样子的回答： ‐---‐--------- “是的。这在技术上是可行的，而且已经有类似的版本存在。这个概念通常被称为模型路由、模型集成或多智能体LLM系统。一个单一的聊天界面可以将同一个问题发送给多个LLM，比较它们的答案，然后基于共识、排名或综合生成最终回复。实际设计如下： 1. 用户提出一个问题 2. 多个LLM独立回答 3. 一个单独的“评判”模型比较这些答案 4. 系统检查一致性、矛盾、引用、置信度和推理质量 5. 综合出最终答案 当模型以有用的方式产生分歧时，这可以提高可靠性。它对于法律、医疗、编程、政策、金融和研究问题尤其有价值。但存在重大限制：共识并不能保证真理。如果许多模型在类似数据上训练，它们可能重复相同的错误假设。这会变得昂贵且更慢。每个答案查询5-20个模型的成本远高于使用单个模型。模型各有优势：一个可能更擅长代码，另一个擅长长文档，另一个擅长推理，另一个擅长实时搜索。许可和API访问也很重要。除非每个提供商都允许，否则你不能自由地组合所有商业模型。一个好的聚合器需要验证，而不仅仅是投票。最好的版本会将模型共识与网络搜索、原始资料、工具、计算器、数据库和文档检索结合起来。未来的方向可能不是一个“所有LLM的平均值”，而是一个元聊天机器人，它可以将任务路由到最佳的模型/工具，并利用模型之间的分歧作为质量控制信号。”