作者｜沙丘智库研究团队
来源｜沙丘社区（www.shaqiu.cn）
随随着人工智能技术的飞速发展，大模型已成为推动各行业创新的关键力量。然而，大模型在带来巨大机遇的同时，也为企业带来了新的安全挑战。
国务院《新一代人工智能发展规划》明确提出“在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能的安全、可靠、可控发展”，并要求到2025年“初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”。
沙丘智库将“大模型+安全”分为大模型安全治理和大模型赋能安全相辅相成的两个方面：
· 大模型安全治理是保障大模型健康、合规发展的基础，涵盖了从数据处理、模型训练到模型部署和应用等各个环节的安全问题；
· 大模型赋能安全则是利用大模型等先进AI技术，为安全领域提供新的解决方案和思路。
只有在确保大模型自身安全的前提下，才能更好地发挥其赋能安全的作用；而大模型赋能安全的成功应用，又进一步证明了大模型安全治理的重要性和有效性。
沙丘智库近期发布了多份“大模型+安全”相关研究报告，旨在通过系统性的技术研究，更好地帮助企业决策者、投资者以及行业从业者理解技术发展趋势、市场竞争格局、把握发展机遇。
报告1：《2025年“大模型+安全”最佳实践报告》（50页PDF）
（1）大模型安全治理
随着大模型技术应用的逐渐深入，企业高度重视大模型安全，大部分企业都已开始采取大模型安全治理措施。Gartner近期的调研结果显示，80%以上的企业都实施了针对生成式AI或智能体的安全控制，其中数据安全和应用安全是当前企业最重视的两大领域。
数据是企业数字化发展的基石，数据的安全问题贯穿采集、训练、应用等全生命周期。大模型应用的爆炸式增长使企业面临的数据泄露和监管合规性风险成倍增加，数据安全在大模型安全领域的重要性不断提升。
当前，企业针对大模型采取的数据安全控制手段主要包括数据防泄漏、数据访问治理、数据发现与分类分级、AI防火墙/网关、数据安全态势管理、合成数据。
管理大模型应用安全风险的一个有效方式是利用大模型安全护栏。当应用于大模型输入时，安全护栏会根据预设的规则和标准评估输入内容是否有效或无效；同样的过程也适用于大模型输出，安全护栏会检查模型输出是否符合要求。
（2）大模型赋能安全
大模型赋能安全，是人工智能技术与安全领域深度融合的必然趋势。一方面，大模型在安全领域的应用为企业安全团队工作效率和准确率的提升带来了期望；另一方面，传统安全厂商基于海量高质量安全数据推出安全领域垂域大模型，帮助企业更好利用大模型解决原有安全场景难以解决的问题。
大模型赋能安全的主要应用方向为大模型赋能网络安全、大模型赋能数据安全、大模型赋能内容，其中网络安全是当前大模型应用场景最广泛的领域，尤其是在安全运营方向，大模型显著提高了传统安全防御体系的运营能力。
报告2：《2025年大模型安全护栏技术研究报告》（28页PDF）
大模型安全护栏是一种保护机制，通过在最终用户和大模型之间形成保护层，监督和管理用户输入和模型输出，从而确保大模型的行为符合预期，减少不期望的输出，保护用户和模型的安全。
大模型安全护栏的第一步是检测输入或输出是否符合预设的要求。例如，大模型输入的安全护栏可以检测prompt中是否包含个人身份信息（PII）或有毒内容，大模型输出的安全护栏可以检测输出是否符合预设的结构要求（如JSON或Markdown格式）。
大模型安全护栏的第二步是根据检测结果采取相应的行动。如果输入或输出不符合要求，则将其标记为无效，并阻止其通过；如果输入或输出符合要求，则将其标记为有效，并允许其通过，prompt可以保持原样，也可以经过一定的修改。
大模型安全护栏需要定期评估其有效性和效率；如果预设的要求或行动发生变化，也需要触发评估，确保安全护栏仍然适用。
按照防护范围来看，每种大模型安全护栏有两个重要维度，一个是防护风险类型，另一个是对输入&输出的防护程度。例如，道德和伦理护栏主要应用于验证输入是否包含有毒和偏见的信息，同时也可以应用于输出。常见的大模型安全护栏分类如下：
按照商业模式划分，大模型安全护栏可以分为开源方案和商业方案。随着大模型开源生态的繁荣发展，国外大模型安全护栏领域涌现出众多开源方案，为大模型安全应用提供了强大支撑。最早开源大模型安全护栏的是Meta LlamaGuard，目前除了支持文本模态外，还扩展了图像模态。国内开源生态刚刚起步，当前主要仅支持文本模态。
报告3：《2025年中国“大模型+安全”主流厂商市场指南》（14页PDF）
本报告深入分析了“大模型+安全”市场的发展态势和竞争格局，基于对多家厂商的调研与专家深访，从产品成熟度、行业落地深度、商业化进展等维度进行评价，筛选出各个细分市场的领先企业，并绘制“大模型+安全”主流厂商全景图，帮助企业用户选择更适合的产品/解决方案。
▎更多研究（可前往“沙丘智库”查阅）
2025年“大模型+安全”最佳实践报告
2025年央国企大模型应用跟踪报告
2025年金融业智能体最佳实践报告
2025年AI Agent应用最佳实践报告
2025年中国银行业大模型应用跟踪报告
大模型应用跟踪调研（2025年9月）
...
*更多生成式AI研究可前往“沙丘智库”小程序查阅
*有任何需求可咨询客服微信：zimu738