@omarsar0: 多模态提示显然是未来。我喜欢尝试与智能体交互的新方式。作为一名研究者……

多模态提示显然是未来。 我喜欢尝试与智能体交互的新方式。 作为一名研究员和工程师，我发现，提供给智能体的输入越丰富，我消费的输出越丰富，协作的总体结果就越好。 在这个小演示中，我阐述了我所说的多模态提示的含义，以及你何时会发现它有用。 它不仅仅是简单的文本提示，所以暂且称之为“任务”。它帮助我录制语音、标注屏幕、点击/鼠标操作等。 然后所有这些都被预处理并传递给智能体，以更高效地完成任务。智能体有高层次的提示，但如果有需要，它也有原始转录。因此，我自然也利用这一点来构建多模态技能，并在智能体往往难以处理的流程中复用这些技能。 这为我节省了大量时间。即使是较旧的模型也能更清晰地理解任务。过程中会引入一些噪声，但似乎并不影响性能。我还发现，这种新的提示方式减少了我与智能体之间令人沮丧的交互次数。 这是我思考已久的事情，因为我们将更多地转向多模态AI模型。因此，交互将随着模型能够原生处理多种模态而发展。目前，我在后台用另一个模型处理所有录制的任务，但认为未来所有内容都将被全能模型自然消费并非疯狂的想法。 所有这些录制的任务（你也可以将其视为丰富的标注数据集）都是我挖掘并随时间递归改进的东西，在某些情况下，我将其打包为可复用的工作流/模式/技能。 这个过程真正提升了我在各种工作中使用编码智能体的方式。我在网页开发、设计、工件创建、原型设计、研究、阅读、模拟、AI辅助写作等方面使用多模态提示。 所以这不仅仅是提示的问题。它更深入地理解并探索智能体做出正确决策所需的细节层次，以推动并最大化它们的能力。