论文
话语角色标签作为语言模型中上下文使用的呈现时间变量
Discourse-Role Labels as Presentation-Time Variables for Context Use in Language Models
摘要
上下文增强语言模型系统通常使用“参考:”、“证据:”、“说明:”、“注意:”或“示例:”等标签来包装提供的内容,但这些标签对读者模型行为的影响仍未得到充分探索。我们引入了超过 500 个 MMLU-Pro 项目的配对固定内容探针:每个项目在不同的话语角色标签下接收相同的误导性答案断言,并通过模型是否输出注入的错误选项来衡量采用率。在 GPT-5.5、DeepSeek V4 Pro、Llama-3-8B-Instruct 和 Qwen2.5-7B-Instruct 中,误导性采用率变化了 56-84 个百分点。绑定或类似源的标签(例如“指令:”和“参考:”)会产生较高的采用率,而“示例:”则始终会抑制它。配对测试、引导间隔、最终指令消融和 Qwen 最后一步对数概率探针支持标签条件候选偏好。边界探测显示了效果减弱或持续的地方:算术任务减少了采用,段落形状的外部上下文保留了较小的标签间隙,简答评估排除了选项字母复制,嵌套标签冲突表明说明性框架可以界定采用范围。 200 个案例的单作者人工审核证实,简答对比在保守裁决下是稳定的。由此产生的主张是有限但实用的:上下文利用和阅读器端 RAG 基准应该报告和控制包装标签,因为表示选择可以改变对所提供上下文的测量依赖。