你现在到底在评估什么：提示词、上下文，还是整个框架？
摘要
关于AI评估焦点的讨论，质疑从业者是在优化提示词、上下文还是整个框架，并指出正转向整体优化。
向关心评估的人提问。你现在主要想评估和优化什么？提示词？上下文？还是框架本身？我交谈的大多数人仍然将评估指向单个提示词。但我的看法是前沿已经转移：现在有趣的工作是闭环并优化整个上下文和/或框架，而不是孤立地调整提示词。有没有人已经在实践中这样做了？好奇你们的设置是什么样的，以及在哪些地方会出问题。
相似文章
你是评估整个框架还是它的各个部分？
这是一个讨论问题，关于是评估机器学习框架的整体，还是分别评估其各个组成部分。
AI 工具问题的答案（2分钟阅读）
文章认为，AI 工具服务于两个不同的目的——提供关于用户想要什么（意图）的上下文和如何实现它的指令（执行）——并且这两者会随着时间推移而价值变化：随着模型改进，执行指令的价值下降，而意图上下文的价值上升。
@rohanpaul_ai: 本文表明，智能体的表现更少依赖于提示词本身，更多依赖于其周围的控制层。“Agent intel…
本文认为，AI智能体的性能更多地取决于控制层（harness）而不是仅靠提示词，并提出了自然语言智能体控制层，使得设计选择可检查且可移植。
关于Harness Engineering的许多讨论，它到底意味着什么？
围绕Harness Engineering和AI agent Harness的热议，质疑行业是否正在远离让LLM决定代理响应的做法。
重新思考智能体工具框架进化的评估
本文重新思考了智能体自动工具框架进化应如何评估，指出性能提升可能源于增加的计算量而非真正的改进，并且进化后的工具框架难以泛化到未见过的任务。