Program-as-Weights: 面向模糊函数的编程范式
摘要
Program-as-Weights (PAW) 引入了一种编程范式,其中40亿参数的编译器将自然语言规范翻译成紧凑的神经工件,可由6亿参数的解释器执行,性能与320亿参数的模型相当,但内存和推理成本大幅降低。
查看缓存全文
缓存时间: 2026/07/03 03:52
论文页面 - 程序即权重:面向模糊函数的编程范式
来源:https://huggingface.co/papers/2607.02512
摘要
模糊函数编程(Fuzzy-function programming)利用一个 4B 编译器和一个 0.6B 解释器,将自然语言规范编译为紧凑的神经工件,实现高效、本地的执行,内存占用更低,推理速度更快。
许多日常编程任务很难用清晰的基于规则的实现来完成,例如对重要日志行进行告警、修复畸形的 JSON、或按意图对搜索结果排序。这些任务日益被外包给大型语言模型 API,但代价是损失了本地性、可复现性和价格。我们提出模糊函数编程:将此类函数从自然语言规范编译为紧凑、可本地执行的神经工件。我们通过“程序即权重”(Program-as-Weights, PAW)来实例化这一范式,其中,一个基于 FuzzyBench(我们发布的一个包含 1000 万示例的数据集)训练的 4B 编译器,为一个冻结的轻量级解释器生成参数高效适配器。运行 PAW 程序的 0.6B Qwen3 解释器,其性能与直接提示 Qwen3-32B 相当,但推理内存仅为其约五十分之一,且在 MacBook M3 上以 30 tokens/s 的速度运行。PAW 将基础模型从“每次输入的问题解决者”重新定义为“工具构建者”:每定义一个函数只需调用一次,即可生成一个小型可复用工件,后续每次函数应用调用都廉价且离线。
查看 arXiv 页面 (https://arxiv.org/abs/2607.02512) 查看 PDF (https://arxiv.org/pdf/2607.02512) 项目页面 (https://programasweights.com/) GitHub92 (https://github.com/programasweights/programasweights-python) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.02512)
在你的代理中获取这篇论文:
hf papers read 2607.02512
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型2
programasweights/paw-4b-qwen3-0.6b 文本生成• 更新于约1小时前 • 2 (https://huggingface.co/programasweights/paw-4b-qwen3-0.6b)
programasweights/paw-4b-gpt2 文本生成• 更新于约1小时前 • 1 (https://huggingface.co/programasweights/paw-4b-gpt2)
引用此论文的数据集1
yuntian-deng/fuzzy_bench_verified 查看器• 更新于约1小时前 • 50.7k • 15 • 1 (https://huggingface.co/datasets/yuntian-deng/fuzzy_bench_verified)
引用此论文的 Spaces0
没有 Space 链接此论文
请在 Space 的 README.md 中引用 arxiv.org/abs/2607.02512 以从此页面链接。
包含此论文的收藏集0
没有收藏集包含此论文
请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
@_akhaliq:Program-as-Weights —— 面向模糊函数的编程范式
介绍了'Program-as-Weights',一种为模糊函数设计的新编程范式,由 @_akhaliq 分享。
ProgramAsWeights:用英语描述AI函数,编译一次,在本地CPU上运行
ProgramAsWeights是滑铁卢大学开发的一个工具,允许用户用英语描述AI函数,将其编译成LoRA适配器,并使用共享的基础模型在本地CPU上运行,实现无需API调用的离线执行。
@lateinteraction:你以为 LLM 只能对提示词、工具框架和代码做文本优化与搜索?结果它们已经开始……
研究提出「Weight-Space Programming」:让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重,在不使用梯度或训练的情况下仅修改 0.016% 权重,修复推理循环并将数学能力提升至 6 倍、指令遵循提升 3 倍。
权重空间编程的火花:LLM 能够原生读写神经网络权重
一篇研究博客文章发现,前沿 LLM 能够原生读写神经网络权重——诊断训练后的策略、编辑权重以修复推理循环并将 Qwen3.5-0.8B 在 MATH-500 上的成绩从 7.9% 提升至 48.1%、以及手工编写小型游戏网络——作者将这一能力称为「权重空间编程」(Weight-Space Programming)。
超曲面约束动态权重更新实验 [P]
一个实验性的语言模型架构使用超曲面进行动态权重更新以减少训练参数,仅使用16%的参数即可实现比未展开基线更好的性能。该方法在FineWeb-Edu数据集上进行了测试,并包含一个GitHub实现。