论文
使用 LLM 进行预测：通过特征引导改进泛化
Forecasting With LLMs: Improved Generalization Through Feature Steering
摘要
成功的预测涉及识别世界历史和未来状态之间的模式，并将其推广到未来的观察。我们将 LLM 应用于各种预测任务，并使用稀疏自动编码器检查其内部状态，以了解它们是否依赖于特定时间的知识片段与可概括的模式。我们的分析确定了与时间感知推理和前瞻性推理相关的特征。然后，我们将 LLM 应用于完全不同的域并干预这些功能。我们发现，增强时间意识特征可以大大减少预测提示的前瞻偏差，同时保持一般推理性能。相反，引导候选前瞻偏差特征不会产生效果。这些结果表明，可解释的时间特征可用于将 LLM 因果地转向更有历史依据的推理。