论文
绕过观测:一种非侵入式、分层语义提取架构的概念设计
Bypass Observation: A Conceptual Design of a Non-Intrusive Layer-Wise Semantic Extraction Architecture
摘要
大语言模型在高维隐状态空间中进行推理,而用户仅能观察最终输出。我们提出Bypass Observation,一种非侵入式的分层读出架构,通过在选定的Transformer层上附加只读观测头,而不将输出反馈至主干网络。我们考虑三种变体:跨层共享的语言模型头、分层特定的头,以及分层或步长自适应的头。对于全词汇读出,我们推导出一个闭式开销近似公式,主要由V/(12d)决定,典型值在30%至240%之间,并讨论通过稀疏观测、低秩分解、减小词汇表、top-k读出和选择性位置等手段降低开销。我们认为,Bypass Observation可使模型计算过程更可观察,但仅是隐藏状态的部分、可能误导性的投影。我们进一步区分了绕过式思维链与传统思维链:传统推理词元进入自回归计算,而绕过读出在推理时保持因果外部性,尽管它们仍可在强化学习中提供训练信号。最后,我们探讨了其在循环和递归深度Transformer中的应用,其中按迭代读出可能暴露收敛、振荡及潜在终止信号。该方案为概念性和分析性设计,系统性的实证验证仍为未来工作。