利用前缀势函数降低语言模型期望估计方差

语言模型的许多应用并不取决于单个样本，而是取决于模型下测试函数的期望。可靠地估计此类期望的计算成本可能很高。在本文中，我们展示了如何通过利用作为采样副产品的下一个标记条件概率来提高估计效率。我们通过势来实现这一点：前缀上的实值函数可加性地分解测试函数。我们构造一个估计量，其方差取决于所选势，并推导势能减少该方差的条件。然后，我们开发了几个估计值和应用程序的实际潜力，并在可比较的计算成本下证明了几个估计值的显着方差减少。