将 大语言模型 中的知识提炼成用于自主网络运营的轻量级强化学习代理

随着网络威胁不断发展，自主网络运营 (ACO) 对于保护企业网络变得越来越重要。 ACO 应用程序通常采用强化学习 (RL) 代理通过与环境交互来学习防御行为。然而，强化学习智能体通常需要在训练过程中进行广泛的探索，这通常会导致行为不稳定和糟糕的初始决策，然后才能收敛到有效的防御策略。在这项工作中，我们研究了使用 大语言模型 (LLM) 来改进 ACO 环境中的自主防御决策。通过即时工程而不是 微调，我们证明了在网络安全数据上预训练的 80 亿参数 LLM 可以在修改后的 CybORG CAGE Challenge 2 环境中胜过基线 RL 代理。然后，我们提出了一个在线策略 蒸馏 框架，将 LLM 的防御策略转移到仅包含 64,910 个参数的轻量级 RL 代理中，将模型大小减少了几个数量级，同时保持有效的防御能力。这为在轻量级、可部署代理中实施前沿网络安全模型提供了一条途径。为了评估可转移性，我们构建了 4 到 12 个主机的 CybORG 场景，并评估了跨不同网络配置的方法。我们还评估了教师引导的 RL 稳定策略，并观察到没有一个策略能够始终超越优化的教师策略，这表明奖励驱动的 RL 优化和教师引导的防御策略之间存在政策一致性限制。我们的结果证明了以网络安全为中心的 LLM 作为自主网络防御专业知识来源的潜力，而政策 蒸馏 提供了在高效、可扩展的代理中操作前沿网络安全模型的实用路径。