标签
本文揭示了LLM安全对齐中一个广泛的句法漏洞,表明非祈使句的句法形式可以绕过16个模型(参数高达70B)的拒绝机制。通过因果中介分析,作者将问题追溯到带有语言偏见的后训练数据,并提出句法多样性作为缓解措施。
一篇博客文章,探讨 Python 原始字符串字面量和 f-string 语法中的古怪行为,包括原始字符串不能以反斜杠结尾以及 f-string 表达式可以包含注释和多行的示例。
本文研究了在不可能语言(信息局部性被破坏)上预训练的GPT-2模型如何恢复自然英语,显示出对更短依赖长度的偏好以及结构恢复与表层恢复之间的分离。
C++20 引入了基于范围的 for 循环的新语法,允许在循环作用域内声明初始化器,达到了与 Python 和 Lua 等语言一样的便利性。
本文分析了122种语言,表明依存长度最小化在功能性依存(短且不变)与词汇性依存(较长且可变)上的作用不同,这表明语法为语言处理提供了局部支撑。
本文采用发展性方法研究神经语言模型(特别是Transformer)如何从人工语法中学习统计模式,发现它们首先获取全局抽象统计信息,然后学习局部依赖关系,并在早期出现过度泛化。
Shrubbery 表示法是一种对行和缩进敏感的文本级表示法,用于 Racket 中的 Rhombus 编程语言,旨在部分地对输入进行分组以供进一步解析。
本文认为,在编程语言和数据格式中禁止尾部分隔符(如逗号)会使代码编辑更容易出错且不一致,并主张语言设计应允许尾部分隔符以提供更好的开发者体验。
本文介绍了极简遗传编程(Minimalist Genetic Programming, MGP),一种新颖的算法,它用受语言学中最简方案启发的句法推导过程取代了进化,并使用 MERGE 算子来构建符号表达式。MGP 在符号回归任务中能够一致地找到精确的真实模型,而标准 GP 由于膨胀问题难以做到这一点。
本文研究大语言模型是否编码了通用依存关系(UD)无法捕捉的句法抽象(如阶段边界),通过在wh-移动刺激上设计UD距离不变的结构探针,在13个LLM中发现了阶段结构表示的证据,且这些表示具有因果活性。
本文提出搭配引导机制,即统计词语共现线索可辅助英语主谓一致的习得,并通过神经网络模拟和对儿童导向言语的分析予以支持。
本文提出了一个计算框架,用于测试儿童句法发展中相互竞争的成熟理论,特别是利用统计语法归纳法比较自下而上(bottom-up)与向内(inward)的理论解释。
这篇学术论文分析了两代大语言模型与人类撰写新闻文本相比的句法和词汇多样性,发现较新的对齐模型表现出多样性降低的现象。