用句子思考：明确的句子边界增强语言模型的能力

研究人员探索了通过在上下文中插入虚拟词元来提高 大语言模型 (LLM) 功能的不同方法。然而，现有的工作仅关注虚拟标记本身，而未能利用自然语言固有的句子级结构。这是一个严重的疏忽，因为 LLM 通过接触人类生成的文本来获得语言能力，而这些文本本质上是在句子级别结构化的。受此差距的启发，我们提出了一种在 LLM 输入中的句子边界插入分隔符的方法，该方法不仅将虚拟标记集成到上下文中，而且还有助于 LLM 在推理过程中逐句处理行为。两种具体方法：(1)．情境学习和（2）。使用 7B 模型到 600B Deepseek-V3 对受监督的 微调 进行了实验。我们的结果表明，各种任务都得到了一致的改进，在 GSM8k 上显着提高了 7.7%，在 DROP 上提高了 12.5%。此外，经过微调的 LLM 可以纳入其内部表示所证明的句子意识。我们的工作建立了一种简单而有效的技术来增强 LLM 的能力，为认知启发的 LLM 增强范例提供了有希望的方向。