LiveMACE：LLM 智能体在演化市场中能力的过程感知评估

Hugging Face Daily Papers 论文
llm-agents benchmark financial-markets evaluation multi-agent tool-use open-source

摘要

LiveMACE 是一个开源基准，利用实时加密货币和美国股票市场，在动态变化的条件下评估 LLM 智能体的能力。对五款前沿 LLM 进行为期 30 天的测试后，研究发现存在「结果—能力差距」：更高的回报率并不能始终反映更强的工具使用、记忆、规则遵循或协作能力。

仅凭结果来评估智能体，往往会掩盖真正产生这些结果的能力。这一问题在演化环境中尤为突出——结果反映的是智能体行为与不断变化的外部条件之间的闭环交互。我们提出 LiveMACEBench，这是一个过程感知的基准，以实时金融市场作为天然演化的测试环境，用于评估持续运行的 LLM 智能体。五款前沿 LLM 在匹配的 Tool Use（工具使用）、Persistent Memory（持久记忆）、Rule Following（规则遵循）和 Multi-Agent Collaboration（多智能体协作）配置下，沿连续轨迹运行。我们既通过实际实现的结果来评估它们，也通过完整决策轨迹中提取的机制专属诊断指标进行评估。在为期 30 天的实时评估中，我们发现了显著的「结果—能力差距」：实际回报往往与针对特定能力的测量结果相偏离，而相似的结果可能源自截然不同的机制使用模式。轨迹层面的诊断进一步揭示了各能力上不同的瓶颈，表明机制的可访问性、机制的有效使用以及下游表现三者并不能相互替代，不能作为智能体能力的等价衡量标准。LiveMACEBench 使这一区分变得可度量，将实时市场从一个性能排行榜转变为一个诊断智能体能力的环境。
查看原文
查看缓存全文

缓存时间: 2026/10/19 11:28

论文页面 - LiveMACE：面向过程感知的大语言模型智能体在演化市场中的能力评估

来源：https://huggingface.co/papers/2610.09872

我们提出LiveMACE，一个利用实时金融市场评估大语言模型智能体能力的基准框架。静态基准测试题目可能已进入训练数据，而未来的市场事件尚未发生。这使得演化中的市场成为测试智能体在真正新颖条件下行为表现的天然环境。

然而，单纯的已实现收益无法全面刻画智能体的能力：收益既反映了不断变化的市场状况，也涉及智能体行为的多个方面。 LiveMACE将加密货币和美国股票市场中的模拟交易与对四项能力的面向过程评估相结合：工具使用、持久记忆、规则遵循和多智能体协作。该框架记录智能体的决策与交互过程，进而对其结果背后的执行轨迹进行评估。

在五个前沿大语言模型和30天的实时评估中，我们发现了结果-能力差距：更高的收益并不始终意味着更强的能力，而相似的收益可能源于不同的机制使用模式。我们的目标是使实时市场成为有用的智能体评估环境，其度量方式超越单纯的收益排行榜。

该框架已开源，欢迎对演化环境中持久智能体评估的研究者提供反馈。

💻 源代码 (https://github.com/RaymondVoldemortFu/LiveMACE)

相似文章

多智能体LLMs未能相互探索

Hugging Face Daily Papers

本文指出当前LLM智能体未能系统地探索同伴，导致协调不佳，并引入MACE，一个轻量级框架，使用上下文赌博机进行有效的同伴选择。

智能体交易：当LLM智能体遇上金融市场

arXiv cs.AI

本文对77项关于基于LLM的交易智能体的研究进行了系统综述和证据图谱，发现架构实验正在快速扩展，但评估协议、执行语义和可再现性仍然是关键瓶颈。