performance-evaluation

标签

Cards List
#performance-evaluation

我们取得了多大进展?比较LLMs:Sonnet 4 vs. GPT-5.5

Reddit r/ArtificialInteligence ↗ · 2026-09-29

本文通过为Flappy Bird游戏生成代码,比较Claude Sonnet 4和GPT-5.5,展示了LLM能力在1.5年内的显著进步。

0 人收藏 0 人点赞
#performance-evaluation

候选数量不足:候选生成策略影响LLM测试时扩展的能耗与性能

arXiv cs.LG ↗ · 2026-09-18 缓存

本文探讨了不同候选生成计划对大语言模型在测试时扩展过程中的能耗和性能的影响,表明更大的批次大小可以减少能耗和延迟。

0 人收藏 0 人点赞
#performance-evaluation

AndroidLife:AI代理能否在真实用户的一天中生存?Qwen3.8-27b运行:56.7% 成功率

Reddit r/LocalLLaMA ↗ · 2026-09-17

一个使用阿里巴巴Qwen3.8-27b模型的AI代理在AndroidLife基准测试中实现了56.7%的成功率,在一部OnePlus手机上运行了60个真实任务,并提供了详细的性能和效率指标。

0 人收藏 0 人点赞
#performance-evaluation

Compute:Arena

Product Hunt ↗ · 2026-09-17 缓存

Compute:Arena是一个社区提交的基准测试平台,用于评估本地AI模型在各种硬件、运行时和量化下的性能。

0 人收藏 0 人点赞
#performance-evaluation

SoL-Pi:递归扩展自动研究循环以实现高效代理框架

Hugging Face Daily Papers ↗ · 2026-09-17 缓存

SoL-Pi 引入了一种在编码代理中递归扩展自动研究循环的方法,在保持基准测试性能的同时,显著减少令牌消耗和成本。

0 人收藏 0 人点赞
#performance-evaluation

SiliconBench:统一内存桌面LLM服务速度、内存与保真度评估

Hugging Face Daily Papers ↗ · 2026-09-12 缓存

SiliconBench评估了九款Apple Silicon上的LLM服务引擎,从速度、内存和保真度三个维度进行考察,发现显式内存预算并不能确保内存余量,且只有少数技术栈满足并发扩展和模型覆盖的所有标准。

0 人收藏 0 人点赞
#performance-evaluation

AI排行榜

Reddit r/ArtificialInteligence ↗ · 2026-09-04

本文基于Scale Labs的SEAL测试调整分数,对AI模型进行排名,Fable-5.1位列榜首。

0 人收藏 0 人点赞
#performance-evaluation

深入探讨 ZCode(阅读时间 17 分钟)

TLDR AI ↗ · 2026-09-01 缓存

本文深入评测了 ZCode,这是一款由 Z.ai 开发、基于 GLM-5.3 模型的桌面编程代理,评估了其功能、工作流程、成本以及在真实项目中的性能。

0 人收藏 0 人点赞
#performance-evaluation

Qwen3.8-Flash-Next-NVFP4 对比 Qwen3.8-27B-FP 测试结果

Reddit r/LocalLLaMA ↗ · 2026-08-31

本文详细测试了Qwen3.8-Flash-Next-NVFP4与Qwen3.8-27B-FP8两款AI模型在各类任务中的性能表现,结果显示Flash-Next版本在速度与失败率方面更具优势,但在处理多步骤符号任务时表现较弱。

0 人收藏 0 人点赞
#performance-evaluation

更多GPU还是更小缓存?张量并行与KV压缩在内存受限LLM服务中的比较

arXiv cs.AI ↗ · 2026-08-26 缓存

本文比较了张量并行和KV缓存压缩技术在内存受限LLM服务中的应用,发现压缩通常更经济,并讨论了基于模型大小与设备内存相对关系的决策规则。

0 人收藏 0 人点赞
#performance-evaluation

@no_stp_on_snek: Dense 与 MOE - MOE 能否跟上 Dense 的质量?源于一个朋友遇到的问题。他有一个 agentic 运行任务…

X AI KOLs Timeline ↗ · 2026-08-25 缓存

对稠密模型和 Mixture of Experts (MoE) 模型进行比较,以评估 MoE 是否能在代理任务中匹配稠密模型的质量,基于多种模型的基准测试结果显示性能指标。

0 人收藏 0 人点赞
#performance-evaluation

一个用于评估大语言模型在临床数据登记抽象中表现的歧义分类体系:一项多中心前瞻性研究

arXiv cs.CL ↗ · 2026-08-24 缓存

本研究开发了一个歧义分类体系,用于评估大语言模型在从未经处理的电子病历数据中进行临床数据登记抽象时的表现,发现LLM的准确性显著低于人工抽象者,并且随着任务歧义性的增加而下降。

0 人收藏 0 人点赞
#performance-evaluation

@_philschmid:Gemini 3.7 Flash 在 @ArtificialAnlys 全新的 AA-AnalystAgent 基准测试中位列第一。AA-AnalystAgent 对真实世界场景进行评估……

X AI KOLs Following ↗ · 2026-08-19 缓存

Gemini 3.7 Flash 在全新的 AA-AnalystAgent 基准测试中拔得头筹,该测试涵盖80项跨领域的定量分析任务,在准确性(60% pass^5)、速度(每任务1.32秒)和成本效率方面均表现卓越。

0 人收藏 0 人点赞
#performance-evaluation

当AI设计AI:创新还是模仿?

arXiv cs.AI ↗ · 2026-08-19 缓存

本研究分析了LLM agents创建的方法与人类设计方法在性能和算法设计上的比较,发现代理有时能够匹配或超越人类最先进技术,但主要重现有有的算法选择。

0 人收藏 0 人点赞
#performance-evaluation

我们基准测试的是无人实际运行的模型

Reddit r/LocalLLaMA ↗ · 2026-08-17

文章批评了AI模型在不同量化格式下缺乏系统性基准测试,突出了基准测试结果与实际使用之间的差异,并呼吁进行更彻底的评估。

0 人收藏 0 人点赞
#performance-evaluation

我在真实生产任务上测试了GLM-5.3、DeepSeek V4 Pro/Flash和Gemini 3.7 Flash。

Reddit r/ArtificialInteligence ↗ · 2026-08-17

本文对比了GLM-5.3、DeepSeek V4 Pro/Flash和Gemini 3.7 Flash在实际任务中的性能,建议使用Kimi K3处理复杂任务,DeepSeek V4 Flash用于日常任务,其他模型适用于网络安全等特定领域。

0 人收藏 0 人点赞
#performance-evaluation

Qwen3.8 (27b) 在智能体任务上优于 GPT-5.6-Terra (Max)

Reddit r/singularity ↗ · 2026-08-17

本文报道了AI模型的性能表现,基于Agentic Index分数显示,Qwen3.8 (27b)在智能体任务中超越了GPT-5.6-Terra (Max)。

0 人收藏 0 人点赞
#performance-evaluation

ASTRA: 可扩展的下一代ATCO训练模拟器,配备自主Simpilots

arXiv cs.LG ↗ · 2026-06-18 缓存

ASTRA 是一款用于空中交通管制操作员的端到端训练模拟器,通过本地化适配的语音模型自动执行模拟飞行员(sim pilot)角色,在新加坡口音的航空语音中大幅降低了词错误率,并整合了AI辅助性能评估。

0 人收藏 0 人点赞
#performance-evaluation

Deepseek V4的百万上下文窗口:临界点

Reddit r/LocalLLaMA ↗ · 2026-05-17

对Deepseek V4在多个生产代码库上的百万token上下文窗口的详细评估显示,在150-250k token时性能最佳,超过300k后性能下降,推理模式下延迟显著。该模型在未知任务上表现出较高的幻觉率,生产环境中需要验证层。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈