@percyliang:鉴于很多人都尝试过NanoGPT,我真的没预料到能一次减少40%!
摘要
NanoGPT创下新性能记录,通过对单个浮点运算进行优化,将处理时间减少40%,达到39.9秒。
鉴于很多人都尝试过NanoGPT,我真的没预料到能一次减少40%!
查看缓存全文
缓存时间: 2026/09/29 09:52
考虑到已有很多人尝试过NanoGPT,我真的没想到单次优化就能实现40%的性能提升!
Larry Dial (@classiclarryd): @DevenPzak 创下NanoGPT新历史记录:39.9秒(较之前提升27.7秒),将原有纪录67.6秒大幅打破!
该纪录为NanoGPT引入全新优化范式:不再局限于优化矩阵乘法运算或增加表达式运算,而是针对单个浮点运算层级进行深度优化。
相似文章
NanoGPT 速跑前沿
本文报道了在nanoGPT优化器速度竞赛中,对18个前沿AI模型进行自主测试的比较,详细阐述了它们在缩小与人类记录差距方面的表现。
@eliebakouch: 我们让 Opus 4.7 和 GPT 5.5 在 nanoGPT 优化器快速运行上运行:约1万次运行,14k H200小时,239亿个token。Opus 达到2…
AI智能体(Opus 4.7 和 GPT 5.5/Codex)自主优化了 nanoGPT 快速运行任务,以2930步的新记录超越了人类基线。博客详细介绍了它们的搜索方法、失败案例,并发布了所有运行数据和代码。
发布 GPT-5.4 mini 和 nano
OpenAI 发布了 GPT-5.4 mini 和 nano,它们是 GPT-5.4 的更小、更快的变体,专为高吞吐量工作负载设计,在编码、推理和多模态理解方面有显著改进,同时保持 2 倍以上的速度提升。
@RuiTheBaker: GPT 5.5级别的排名,但快27倍?!@mixedbreadai
根据早期结果,Mixedbread 的重排序器在 OBLIQ-bench 上达到了 GPT 5.5 级别性能,同时速度快 27 倍。
Show HN: TurboGPT:在13秒内训练22KiB的transformer
TurboGPT是一个开源的CUDA C++工具,能够实现微型字节级GPT模型的快速训练,在1.5G个token上仅用13秒就达到了2.5295 BPB。