标签
本文通过为Flappy Bird游戏生成代码,比较Claude Sonnet 4和GPT-5.5,展示了LLM能力在1.5年内的显著进步。
本文探讨了不同候选生成计划对大语言模型在测试时扩展过程中的能耗和性能的影响,表明更大的批次大小可以减少能耗和延迟。
一个使用阿里巴巴Qwen3.8-27b模型的AI代理在AndroidLife基准测试中实现了56.7%的成功率,在一部OnePlus手机上运行了60个真实任务,并提供了详细的性能和效率指标。
Compute:Arena是一个社区提交的基准测试平台,用于评估本地AI模型在各种硬件、运行时和量化下的性能。
SoL-Pi 引入了一种在编码代理中递归扩展自动研究循环的方法,在保持基准测试性能的同时,显著减少令牌消耗和成本。
SiliconBench评估了九款Apple Silicon上的LLM服务引擎,从速度、内存和保真度三个维度进行考察,发现显式内存预算并不能确保内存余量,且只有少数技术栈满足并发扩展和模型覆盖的所有标准。
本文深入评测了 ZCode,这是一款由 Z.ai 开发、基于 GLM-5.3 模型的桌面编程代理,评估了其功能、工作流程、成本以及在真实项目中的性能。
本文详细测试了Qwen3.8-Flash-Next-NVFP4与Qwen3.8-27B-FP8两款AI模型在各类任务中的性能表现,结果显示Flash-Next版本在速度与失败率方面更具优势,但在处理多步骤符号任务时表现较弱。
本文比较了张量并行和KV缓存压缩技术在内存受限LLM服务中的应用,发现压缩通常更经济,并讨论了基于模型大小与设备内存相对关系的决策规则。
对稠密模型和 Mixture of Experts (MoE) 模型进行比较,以评估 MoE 是否能在代理任务中匹配稠密模型的质量,基于多种模型的基准测试结果显示性能指标。
本研究开发了一个歧义分类体系,用于评估大语言模型在从未经处理的电子病历数据中进行临床数据登记抽象时的表现,发现LLM的准确性显著低于人工抽象者,并且随着任务歧义性的增加而下降。
Gemini 3.7 Flash 在全新的 AA-AnalystAgent 基准测试中拔得头筹,该测试涵盖80项跨领域的定量分析任务,在准确性(60% pass^5)、速度(每任务1.32秒)和成本效率方面均表现卓越。
本研究分析了LLM agents创建的方法与人类设计方法在性能和算法设计上的比较,发现代理有时能够匹配或超越人类最先进技术,但主要重现有有的算法选择。
文章批评了AI模型在不同量化格式下缺乏系统性基准测试,突出了基准测试结果与实际使用之间的差异,并呼吁进行更彻底的评估。
本文对比了GLM-5.3、DeepSeek V4 Pro/Flash和Gemini 3.7 Flash在实际任务中的性能,建议使用Kimi K3处理复杂任务,DeepSeek V4 Flash用于日常任务,其他模型适用于网络安全等特定领域。
本文报道了AI模型的性能表现,基于Agentic Index分数显示,Qwen3.8 (27b)在智能体任务中超越了GPT-5.6-Terra (Max)。
ASTRA 是一款用于空中交通管制操作员的端到端训练模拟器,通过本地化适配的语音模型自动执行模拟飞行员(sim pilot)角色,在新加坡口音的航空语音中大幅降低了词错误率,并整合了AI辅助性能评估。
对Deepseek V4在多个生产代码库上的百万token上下文窗口的详细评估显示,在150-250k token时性能最佳,超过300k后性能下降,推理模式下延迟显著。该模型在未知任务上表现出较高的幻觉率,生产环境中需要验证层。