论文

程序即权重:模糊函数的编程范式

Program-as-Weights: A Programming Paradigm for Fuzzy Functions

模型训练参数高效训练

摘要

许多日常编程任务抵制基于干净规则的实现,例如对重要日志行发出警报、修复格式错误的 JSON 或按意图对搜索结果进行排名,并且越来越多地外包给 大语言模型 API,但以局部性、可重复性和价格为代价。我们提出模糊函数编程:将这样的函数从自然语言规范编译成紧凑的、本地可执行的神经工件。我们用程序权重 (PAW) 实例化了这个范例,其中在 FuzzyBench(我们发布的 10M 示例数据集)上训练的 4B 编译器,为冻结的轻量级解释器发出参数高效的适配器。执行 PAW 程序的 0.6B Qwen3 解释器与 Qwen3-32B 直接提示的性能相匹配,同时使用大约五十分之一的推理内存,并在 MacBook M3 上以 30 token/s 的速度运行。 PAW 将基础模型从按输入问题求解器重新构建为工具构建器:每个函数定义调用一次,它会生成一个小型可重用工件,每个函数应用程序的后续调用成本低廉且离线。