语言化粒子后验：自然语言假设的贝叶斯推理

语言化机器学习 (VML) 将模型参数化为自然语言提示，LLM 将其计算为 f(x; theta)。该框架是可解释的，但它致力于单一假设，没有测量不确定性，并且该假设在相同数据上的优化运行中存在很大差异。我们提出了言语粒子后验（VPP），它将言语学习视为贝叶斯推理问题：将自然语言假设群体维持为粒子，用 Metropolis-Hastings（VPP-MH）或顺序蒙特卡罗（VPP-SMC）更新它们，并通过贝叶斯模型平均进行预测。两种算法都将 LLM 视为黑匣子，不需要访问 logits 或梯度。一个独特的结果随之而来。在经典贝叶斯学习中，模型选择位于后验之外；在 VPP 中，模型结构和参数共享一个语言空间，并且两者的后验范围。我们在回归、分类和规则发现基准上评估 VPP。它在每个基准测试中都改进了单个 VML 运行，并且在大多数情况下匹配或超过了独立 VML 运行的 Oracle 最佳集成，同时消除了 VML 偶尔产生的灾难性的单次运行故障。因为每个粒子都是人类可读的假设，所以后验本身就是读者可以检查的东西，以纯文本形式查看数据支持的解释和排除的解释。