Program-as-Weights: 面向模糊函数的编程范式

Hugging Face Daily Papers 论文

摘要

Program-as-Weights (PAW) 引入了一种编程范式,其中40亿参数的编译器将自然语言规范翻译成紧凑的神经工件,可由6亿参数的解释器执行,性能与320亿参数的模型相当,但内存和推理成本大幅降低。

许多日常编程任务难以用清晰的基于规则的方式实现,例如对重要日志行进行告警、修复格式错误的 JSON、或按意图对搜索结果排序。这些任务越来越多地被外包给大型语言模型 API,但代价是失去了本地性、可重复性和成本优势。我们提出模糊函数编程:将此类函数从自然语言规范编译为紧凑且可在本地执行的神经工件。我们通过 Program-as-Weights (PAW) 实例化了这一范式。在 PAW 中,一个在 FuzzyBench(我们发布的一个包含 1000 万示例的数据集)上训练的 40 亿参数编译器,会为冻结的轻量级解释器生成参数高效的适配器。执行 PAW 程序的 6 亿参数 Qwen3 解释器,性能与直接调用 Qwen3-32B 相当,但推理内存仅为其约五十分之一,且在 MacBook M3 上以 30 tokens/s 的速度运行。PAW 将基础模型从每个输入的问题求解器重新定位为工具构建器:每个函数定义只需调用一次,即可生成一个可重复使用的小型工件,此后每次函数应用的成本低廉且可离线执行。
查看原文
查看缓存全文

缓存时间: 2026/07/03 03:52

论文页面 - 程序即权重:面向模糊函数的编程范式

来源:https://huggingface.co/papers/2607.02512

摘要

模糊函数编程(Fuzzy-function programming)利用一个 4B 编译器和一个 0.6B 解释器,将自然语言规范编译为紧凑的神经工件,实现高效、本地的执行,内存占用更低,推理速度更快。

许多日常编程任务很难用清晰的基于规则的实现来完成,例如对重要日志行进行告警、修复畸形的 JSON、或按意图对搜索结果排序。这些任务日益被外包给大型语言模型 API,但代价是损失了本地性、可复现性和价格。我们提出模糊函数编程:将此类函数从自然语言规范编译为紧凑、可本地执行的神经工件。我们通过“程序即权重”(Program-as-Weights, PAW)来实例化这一范式,其中,一个基于 FuzzyBench(我们发布的一个包含 1000 万示例的数据集)训练的 4B 编译器,为一个冻结的轻量级解释器生成参数高效适配器。运行 PAW 程序的 0.6B Qwen3 解释器,其性能与直接提示 Qwen3-32B 相当,但推理内存仅为其约五十分之一,且在 MacBook M3 上以 30 tokens/s 的速度运行。PAW 将基础模型从“每次输入的问题解决者”重新定义为“工具构建者”:每定义一个函数只需调用一次,即可生成一个小型可复用工件,后续每次函数应用调用都廉价且离线。

查看 arXiv 页面 (https://arxiv.org/abs/2607.02512) 查看 PDF (https://arxiv.org/pdf/2607.02512) 项目页面 (https://programasweights.com/) GitHub92 (https://github.com/programasweights/programasweights-python) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.02512)

在你的代理中获取这篇论文:

hf papers read 2607.02512

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型2

programasweights/paw-4b-qwen3-0.6b 文本生成• 更新于约1小时前 • 2 (https://huggingface.co/programasweights/paw-4b-qwen3-0.6b)

programasweights/paw-4b-gpt2 文本生成• 更新于约1小时前 • 1 (https://huggingface.co/programasweights/paw-4b-gpt2)

引用此论文的数据集1

yuntian-deng/fuzzy_bench_verified 查看器• 更新于约1小时前 • 50.7k • 15 • 1 (https://huggingface.co/datasets/yuntian-deng/fuzzy_bench_verified)

引用此论文的 Spaces0

没有 Space 链接此论文

请在 Space 的 README.md 中引用 arxiv.org/abs/2607.02512 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

prism-ml/Bonsai-27B-gguf

Hugging Face Models Trending

Prism ML 发布了 Bonsai-27B-gguf,这是一个拥有 270 亿参数的语言模型,采用二进制(1.125 位)权重,实现了约 14 倍的尺寸缩减,同时保留了约 90% 的 FP16 推理性能。它可以在消费级硬件上运行,并具有高吞吐量。

可变位宽量化:为“更大但更小”的语言模型学习每组的精度

arXiv cs.LG

介绍了可变位宽量化(VBQ),一种训练时的方法,其中每组64个权重通过Gumbel-Softmax松弛学习自己的位宽(1、2、4、8)。VBQ发现了一种异构分配,实现了“更大但更小”的机制,例如,平均位宽1.82的1.31亿参数模型在TinyStories上的困惑度为4.2,击败了5500万FP16模型(困惑度4.4),同时存储减少3.8倍;而1.46B模型在FineWeb-Edu上与593M FP16控制模型表现相当,存储减少约3.7倍。