Opus 5.5(高)在短篇小说创意写作基准测试中较Opus 5(高)有所提升,分数从3.5提升至3.8,仅次于Fable 5.1(高)和Opus 5(极高)。
摘要
本文报道了短篇小说创意写作基准测试的最新分数,显示了Opus 5.5、Grok 4.7和Gemini 3.8 Flash等AI模型的改进,排行榜涵盖了56个模型和超过100,000次评估判断。
https://github.com/lechmazur/writing/ Grok 4.7(高)相比Grok 4.6(高)有显著提升:从−2.8提升至0.4。MiMo V2.6 Pro(思考模式)相比V2.5 Pro有显著改进:从−0.7提升至1.6。Gemini 3.8 Flash(高)相比Gemini 3.7 Flash(高)有所进步:从−0.7提升至0.2。DeepSeek V4.1 Flash(高)以−0.5分进入。评审小组已更新。新的比较涵盖了九个模型系列,包括Claude Opus 5.5、GPT-6 Astra、Gemini 3.8 Flash和Grok 4.7。创意写作基准测试评估模型将受限简报转化为完整600–800字故事的能力。每个简报需要10个元素,包括角色、物体、背景、动机和基调,这些元素必须有意义地影响故事。评审评估散文质量、原创性、连贯性、角色刻画以及这些元素共同作用的有效性。模型根据相同的提示进行写作。最新的比较使用来自不同模型系列的三位评审,排除了写作者自身的系列。每个故事对以两种顺序展示,以减少位置偏见。排行榜结合了早期和新的评审小组,目前涵盖56个模型和102,592次评估判断。
相似文章
Opus 5.5刚刚在一项测试AI能否编写完整脚本的基准中超越了专业人类基准,该脚本需具备正确的语气、实质内容、节奏、钩子且最少AI瑕疵
Opus 5.5 AI模型在一项评估脚本质量的基准测试中超越了专业人类作家,评估内容涵盖语气、实质内容、节奏和最少的AI生成错误
Opus 5.5 在 ArtificialAnalysis.ai 的所有三项性能指标中占主导地位
Opus 5.5 在 ArtificialAnalysis.ai 的所有三项性能指标中占主导地位,并提供了相较于 Fable 5.1 的高性价比替代选择。
Opus 5 基准测试 (ARC-AGI3 上达到 30.2%!!!)
Opus 5 在 ARC-AGI3 基准测试中达到 30.2%,标志着显著的性能提升。
Gemini 3.5 Flash 在短篇创意写作基准测试中相比 Gemini 3.1 Pro 有提升:-2.3 → -1.8。
在短篇创意写作基准测试中,Gemini 3.5 Flash 表现优于 Gemini 3.1 Pro,在直接对比中从 -2.3 提升到 -1.8。
Anthropic 发布 Opus 5.5,价格更低,性能达到 Fable 级别
Anthropic 已发布 Opus 5.5,这是一款新的 AI 模型,价格更低,性能匹配或超越像 Fable 这样的大型模型,特点是改进了沟通能力并与安全节奏努力保持一致。