学习从软到硬的翻译 LLM 提示

软提示，也称为连续提示，是一种用于将 LLM 调整到特定任务的参数有效方法。与其他机器学习技术一样，它的参数编码一些隐藏的过程：是否有可能训练一个模型来解码这个过程——将原始参数“翻译”成自然语言？在这项工作中，我们提出了一个有前景的概念验证：一种翻译模型，能够将软提示的学习嵌入语言化为流畅的自然语言描述。我们表明，这些言语作为独立的推理提示使用时超出了基线，这表明它们不仅是听起来合理的描述，而且与任务真正相关。平均而言，语言表达保留了原始软提示性能的适度但显着的 32%。我们推测未来的方向是如何将其用于可解释性或推理，甚至扩展到其他机器学习技术。