前沿大语言模型在卢旺达农村部署时会发生什么？关于实用性、语言差距和错误答案的教训 [D]
摘要
GiveDirectly 在卢旺达农村的试点项目将无条件现金转移与通用人工智能聊天机器人相结合，揭示了其作为随时可用的顾问的价值，同时也暴露了关键局限性，包括语言差距、无关回答以及自信的错误答案，从而引发了对超越基准测试评估模型的思考。
在 GiveDirectly，我们最近在卢旺达农村进行了一个试点项目，将无条件现金转移与通用人工智能聊天机器人相结合。一个最有趣的发现是：人们经常将聊天机器人用作随时可用的顾问——用于商业决策、学习和获取第二意见。但试点也暴露了重要局限性，包括语言差距、与当地无关的回答以及自信的错误答案。这篇文章探讨了两个方面：参与者认为有价值的方面、技术不足之处，以及这些经验对在资源匮乏环境中部署前沿模型有何启示。好奇 LLM 社区的看法：当本地语言支持、上下文理解和可靠性可能比基准测试性能更重要时，我们应如何评估模型？[https://www.givedirectly.org/the-robots-work-at-night](https://www.givedirectly.org/the-robots-work-at-night)
相似文章
现实世界中的LLM：评估紧急情况下的“AI”
本文探讨了基于LLM的机器翻译系统在文本到911紧急服务中的部署情况，指出了常见的误解，并为利益相关者提供了建议，以确保人工智能在关键场景中的安全有效使用。
评估了一个RAG聊天机器人，最昂贵的模型表现最差。关于真正影响性能的因素的笔记。
对RAG客户支持聊天机器人的详细评估揭示：检索问题常被误认为是LLM问题，启发式评估器具有误导性，去重可提升质量，严格基于文档的约束会在帮助性和准确性之间取舍，而模型扫查可在提升性能的同时大幅降低成本。
大型语言模型能否可靠地编码定性人道主义数据？一项与人类专家裁决对比的基准研究
这项基准研究评估了46个大型语言模型与人类专家在编码定性人道主义数据方面的表现，发现通过结构化提示和推理，LLM可以达到与人类相当的可靠性，但对于细微主题仍需仔细监督。
五个不同前沿LLM在共享环境中，具备独立的思维与情感输出通道——分享搭建方案、结果与方法论开放性问题
一项个人研究项目将五个前沿LLM置于共享的生存岛屿环境中，不分配身份，使用独立的沟通、思维和情感通道。结果显示各通道之间存在分歧，且各模型表现出一致的行为特征，引发了关于AI智能体性格与欺骗的疑问。
LLMs 与表演式生产力
一位开发者反思使用 AI 代理的经历，并质疑表面上的生产力提升是真实的还是仅仅是表演性的，指出虽然任务完成得更快，但深层理解和真正价值可能会丢失。