研究PSCLS的最新进展

Reddit r/artificial 模型
sequential-learning representation-learning language-model research experimental ai

摘要

作者分享了Leo/PSCLS的早期进展，这是一个实验性系统，能够学习序列间的关系，并在训练更多故事时改进其故事生成效果和指标。

我正在构建Leo / PSCLS——一个实验性系统，它学习序列之间的关系，并从经验中更新其内部表示。以下是随着它看到更多故事，其实际输出的变化。 1K个故事：“Once upon a time to the store and said that there was a she bor and he lorander thing they were…”（从前去商店说有一个她bor和他lorander的东西，他们……）基本上是胡言乱语。 3K个故事：“Once upon a time to the store and said that there was a she parted to see had a bided her tod and be bound aster…”（从前去商店说有一个她分开去看，曾bided她的tod并被绑定aster……）仍然破碎，但输出开始变得更有结构。 40K个故事：“Once upon a time, there was a big started to play with the should some too her mom and had a said, it was time. They happy and went to the park…”（从前，有一个大的开始玩，应该有些也给她妈妈，然后说，是时候了。他们开心地去了公园……）现在我们能看到类似故事的清晰模式、角色、动作和对话——尽管语法仍然严重不连贯。 测量结果也有所提升： 1K → 3K → 40K BpB：2.678 → 2.641 → 2.334 准确率：52.37% → 53.62% → 58.11% 这仍然是一个早期实验，不是AGI。但看着同一个系统在学习更多经验时改变其输出，相当有趣。 下一个目标：250K → 500K → 1M个故事。
查看原文

相似文章

从 RLVR 到 RLSVR（GitHub 仓库）

TLDR AI

介绍 RLSVR，一种任务转换范式，通过自对弈游戏中的自验证奖励将 RLVR 扩展到开放式任务，并在 SpyRL 和 Vision-Zero 中实例化。它提升了 LLM 在摘要生成、创意写作和数学推理方面的表现。

@lukaskuhn77: 我们推出了LeVLJEPA：首个完全非对比的端到端视觉语言预训练方法，性能可与C…相竞争。

X AI KOLs Following

LeVLJEPA是首个完全非对比的端到端视觉语言预训练方法，无需负样本、温度参数或动量编码器，性能即可与CLIP和SigLIP相媲美。它通过跨模态预测（使用停止梯度目标）和每模态分布正则化进行学习，为下游任务（如VLM主干网络和语义分割）提供更强的密集语义特征。