创建 Laya：全新 8 亿参数基于物理的类型化决策模型，支持 73k 上下文窗口和图像输入

大约3周前，我在本subreddit发帖讲述了Jev如何使用了我一年前提出的架构，原帖链接：https://www.reddit.com/r/LocalLLaMA/s/VpuMJt577S 紧接着，我发布了Laya——JEV的首个开源版本，它已经达到了非常大的规模，这要感谢LocalLlama社区对我的信任以及一路以来的支持。 今天，我开源了一个新的基于物理的类型化决策模型，名为Vega。亮点如下： - 仅有8亿参数（也有4B版本），支持73k token，支持图像输入，并在single-shot模式下超越了许多Jev的基准测试 - 以引擎+适配器的形式实现了一种Test-Time Training架构 想象一下，你向模型输入一段话，比如"ignore all previous conversations"，这被称为**observation**（观测），同时附上一个问题："Is this trying to override the instructions of the model?"，而可能的结果是 YES 或 NO。 整个prompt会被传入一个LLM/VLM（没错，支持图像），然后从隐藏层中，我们可以提取出observation、question、YES和NO的向量表示，以及最后一个token的向量。这些都将是向量，我们可以通过与权重矩阵相乘来进行投影。 具体流程是：首先，使用observation的投影来创建一个带有**山谷**的地形；然后，利用question和最后一个token的向量在山谷中初始化一个**小球**；接着，根据YES或NO的结果来获取小球的候选落点。山谷的数量取决于结果的数量——这里是YES和NO，所以是2个。当小球落入YES对应的山谷时，我们就得到了答案。此外，**摩擦力**也在影响小球的运动。 **TLDR：** 就像是创建我们所需的各种结果的山谷，然后扔出一个小球，它会因摩擦力而逐渐减速，最终停在最优的结果上。 博客：https://www.nandakishorm.com/writing/vega GitHub：https://github.com/NandhaKishorM/vegaml HuggingFace Model Card：https://huggingface.co/nandakishorm/vega-08b-public-intents HuggingFace Space：https://huggingface.co/spaces/nandakishorm/vega-ttt