Opus 5.5(高)在短篇小说创意写作基准测试中较Opus 5(高)有所提升,分数从3.5提升至3.8,仅次于Fable 5.1(高)和Opus 5(极高)。

Reddit r/singularity 新闻

摘要

本文报道了短篇小说创意写作基准测试的最新分数,显示了Opus 5.5、Grok 4.7和Gemini 3.8 Flash等AI模型的改进,排行榜涵盖了56个模型和超过100,000次评估判断。

https://github.com/lechmazur/writing/ Grok 4.7(高)相比Grok 4.6(高)有显著提升:从−2.8提升至0.4。MiMo V2.6 Pro(思考模式)相比V2.5 Pro有显著改进:从−0.7提升至1.6。Gemini 3.8 Flash(高)相比Gemini 3.7 Flash(高)有所进步:从−0.7提升至0.2。DeepSeek V4.1 Flash(高)以−0.5分进入。评审小组已更新。新的比较涵盖了九个模型系列,包括Claude Opus 5.5、GPT-6 Astra、Gemini 3.8 Flash和Grok 4.7。创意写作基准测试评估模型将受限简报转化为完整600–800字故事的能力。每个简报需要10个元素,包括角色、物体、背景、动机和基调,这些元素必须有意义地影响故事。评审评估散文质量、原创性、连贯性、角色刻画以及这些元素共同作用的有效性。模型根据相同的提示进行写作。最新的比较使用来自不同模型系列的三位评审,排除了写作者自身的系列。每个故事对以两种顺序展示,以减少位置偏见。排行榜结合了早期和新的评审小组,目前涵盖56个模型和102,592次评估判断。
查看原文

相似文章