论文

SoftSkill:面向情境适应的行为压缩

SoftSkill: Behavioral Compression for Contextual Adaptation

模型训练上下文与知识智能体系统参数高效训练上下文工程Agent Skills

摘要

智能体技能常以自然语言Markdown文件部署——编码回答策略、证据使用习惯与任务程序。这些文件可读可移植——但它们被间接消费:对每个任务实例——冻结语言模型必须把长文本工件翻译为生成时行为。本文追问:自然语言技能能否改为初始化一个紧凑连续上下文对象——由可训练软增量精化——而基座模型保持冻结。我们提出SoftSkill——冻结骨干方法——以下一token预测调优此类软技能——并在推理时部署为潜在行为先验。在我们的主单轮设定中——Qwen3.5-4B上长度32的SoftSkill前缀较无技能提示在SearchQA提升8.3分、LiveMath提升42.1分、DocVQA提升1.3分。相对SkillOpt——SoftSkill在SearchQA提升5.2分、LiveMath提升12.5分——同时以几个虚拟token取代数百至数千个Markdown技能token。我们进一步研究智能体执行作为更难的边界情形——稀疏轨迹 imitation 提供有用信号——但尚未稳健压缩长程程序性行为。更广地——结果表明:一些任务技能不宜当作推理时被重新解释的附加Markdown——而应作为冻结模型进入任务方式的紧凑潜在控制。

SoftSkill:面向情境适应的行为压缩:论文配图
图 1:SoftSkill 从技能文本初始化一个紧凑的软前缀,仅通过下一个令牌预测调整软增量,并通过保留任务验证选择部署的检查点。