我构建了一种新的注意力机制（Wave Field）——可在标准注意力机制内存溢出的128K上下文环境下运行，笔记本CPU上实现80+ tok/s

嘿，r/LocalLLaMA——我是一名独立研究员。我构建了一个新的注意力架构，希望寻找独立测试者。Wave Field LLM用基于场的FFT波卷积替代了O(N²)的点积注意力。训练复杂度为O(N log N)。推理时每token为O(1)——即使上下文增长，速度和内存也保持恒定。重要提示：这是一个基础的补全模型，不是聊天模型。从头训练，没有RLHF、安全调优或指令微调。 目前我测量的结果： - 在Mac笔记本CPU上达到80+ tok/s（无需GPU进行推理） - 128K上下文运行，标准注意力机制会内存溢出 - 模型参数从130M到1.5B - 130M零样本（DCLM CORE）与GPT-2 124M对比： - Wave Field平均：46.8% | GPT-2：26.5% - PIQA：61.7% vs 50.0% - ARC Easy：43.8% vs 25.0% - 在32K上下文、H100上：比标准注意力快21.8倍，内存减少5.3倍 链接： - https://github.com/badaramoni/wave-field-llm - https://wavefieldlab.com/ - 演示：https://www.youtube.com/watch?v=zH7ICaY5iz4 期待诚实的反馈： - 基准测试方法——合理吗？ - 与其他~130M基础模型相比质量如何？ - 有没有什么看起来不对劲的地方？ - 它会产生有害的答案 活跃研究，架构v9，专利申请中。欢迎在评论中提问。如果你测试它，请回复硬件+tok/s+一个示例补全。也欢迎坏结果。