论文
TokenScope：词元级 大语言模型 中面向代码的任务的可解释性和可解释性
TokenScope: Token-Level Explainability and Interpretability for Code-Oriented Tasks in Large Language Models
摘要
了解 大语言模型 (LLM) 在代码生成过程中如何做出 词元级 决策仍然是研究人员和从业者面临的重大挑战。虽然最近的工具提供了对模型内部结构或生成结果的洞察，但它们通常缺乏解码时间信号、细粒度的不确定性测量以及用于探索替代生成路径的交互机制。我们推出了 TokenScope，这是一种用于基于解码器的 LLM 的交互式解释和分析工具，可在生成过程中公开 词元级 指标、注意力模式和结构信息。 TokenScope 通过抽象语法树支持交互式标记替换、反事实分支和代码感知聚合。通过将解码时间信号与结构程序分析相结合，TokenScope 能够在代码生成期间系统地研究 LLM 行为。