标签
PICasso是一个AI赋能框架，可根据自然语言规格自主优化硅光子器件，通过LLMs和仿真反馈显著提升了设计满足度并降低了损耗。
本文介绍了MÖVE，一个针对德国公共部门LLMs的整体评估框架，考察了能源消耗、提供商透明度和德国政党立场知识等治理维度，揭示了需要根据具体上下文选择模型的权衡。
本文介绍了WSE-bench，这是一个用于评估开放世界模拟中大语言模型的过程基准，分别评估持续生成、规范一致性和有意义的发展。
SemPlan是一个用于评估基于大语言模型查询中结构化语义规划的基准测试，使用包含1,800个案例的合成双语数据集比较四种架构。
本文介绍了格式敏感性指数（FSI）和可解析性敏感性指数（PSI），用于量化不同提示包装器下LLM准确率的变化。通过涉及多个模型和任务的14万次生成实验，研究表明包装器的选择会显著影响得分，而解析失败是其中的关键驱动因素。
Anubis OSS 是一款用于本地 LLM 基准测试的 Apple Silicon Mac 应用，现在支持通过 UI 中的“浏览模型”按钮直接从 ollama.com 库下载模型。开发者正在寻找测试人员，以确认安装和功能正常运行。
本文提出A-LEMS框架，将AI能量核算从每次推理重新定义为每个成功目标（EpG），并引入编排开销指数（OOI）来衡量自主系统中多步编排的能量成本。实证结果表明，自主工作流每个目标的平均能耗比线性基线高4.33倍，但OOI在工具增强型任务中可能反转，证明目标级核算是必要的。
1rok是一个TypeScript框架，支持在多个LLM提供商上运行多代理投资组合构建管线，以对标它们在选股和仓位调整等金融任务上的表现。
分享了一套开源模型堆栈在单卡 AMD MI300X 上运行的早期基准测试成绩与评估指标，表明其性能已具备与闭源方案竞争的实力。
潜水多年的老用户，首次发帖。在 4 张 RTX 3090 上对三款 Qwen 模型分别进行了 20 多个会话的实时智能体工作测试——**Qwen3.5-27B** 稠密模型、**Qwen3.5-122B-A10B** MoE 和 **Qwen3.6-35B-A3B** MoE。以下数据均解析自持续真实负载下的 vLLM 日志，而非合成基准测试。**本文所有数据的关键负载背景：** 测试框架是一个多智能体编排器，同时运行 1-6 个并发的 OpenCode 会话，Prompt 长度为 30-60k token，并且强制执行**严格的 Bash 允许列表