Gartner:CISO应如何看待生成式人工智能的发展

近日,Gartner发布了2024年网络安全重要趋势,推动2024年主要网络安全趋势的因素包括生成式人工智能(GenAI)、持续威胁暴露、第三方风险、隐私驱动的应用和数据解耦和网络安全技能重塑等。

随着ChatGPT火爆全球,生成式人工智能应用在各行各业,并且在不断改进,在带来生产力变革的同时,也引起全球对其数据安全问题和挑战的极大关切,包括内容安全、算法歧视、侵犯知识产权和信息泄露等安全隐患。2023年8月15日,我国正式施行的《生成式人工智能服务管理暂行办法》,为生成式人工智能服务的健康发展提供了重要法制保障。越来越多更成熟的网络安全厂商发布了生成式人工智能在网络安全上面的应用的一些服务,如何安全地使用生成式人工智能的服务也成为政企关心的热门话题。

Gartner研究总监陈延全在日前召开的“2024年网络安全重要趋势”媒体分享会上就生成式人工智能(GenAI)的发展现状和趋势、企业CISO应如何去看待生成式人工智能的发展、企业如何安全使用生成式人工智能的服务等内容发表了以下观点。

Gartner:GenAI引发短期疑虑,但同时也点燃了长期希望

生成式人工智能(GenAI)引入了新的攻击面。为提供相关防护,企业机构必须对应用和数据安全实践以及用户监控进行变革。到2025年,GenAI的采用将导致企业机构所需的网络安全资源激增,从而使应用和数据安全支出增加15%以上。

此外,鉴于ChatGPT等大语言模型应用的兴起只是GenAI颠覆浪潮的开端,安全和风险管理领导者还需要就该技术的快速演进做好应对准备。

CISO应如何看待生成式人工智能的发展

陈延全表示:生成式人工智能带来的影响有很多方面,特别是从CISO的角色来看。

第一,要持续地观察新的使用生成式人工智能的场景,不管是通过第三方提供已经包装好的SaaS的应用或者是通过API接口的方式去使用这些生成式人工智能的服务,或者是企业决定自用、可能参考一些开源大模型自建生成式人工智能的应用,以及不断地去应用一些第三方的服务或者是由云厂商提供的开发大模型的基础设施等等。

如何去安全地使用这些生成式人工智能服务也取决于“采购”或者是“自建”,从采购到自建的过程中也有很多不同的模式,在此过程中保护它可能是CISO第一个会遇到的问题。

第二,生成式人工智能应用在网络安全领域,国内也有安全厂商发布了一些安全领域的垂直行业大模型,但是整体技术不是特别成熟。Gartner大致的预测是:“2023年是生成式人工智能发布的元年,2024年有很多最小可信产品的商业应用。安全领域要到2025年,会看到更多成熟的把生成式人工智能集成到安全的工作流程中的产品。”

第三,生成式人工智能本身技术也还在持续演进,目前还没看到一个完美的安全的解决方案,能够解决所有还在演进中的技术带来的安全风险,所以这是一个持续的努力过程,一方面企业要透过一些新的技术,例如在数据层面、在模型开发层面去降低风险,另一方面,这也是第四点,企业可以继续使用传统的安全产品,比如:威胁情报或者是暴露面管理等,以在发生安全事件的时候能够实现应急响应和尽快恢复。

11

上图总结了刚刚提到的四个场景。第一,透过生成式人工智能来防御外部的一些攻击,也就是生成式的安全人工智能。第二,需要关注“黑客会怎么攻击”,攻击方会怎么利用生成式人工智能攻击系统或者是环境。第三,如果有企业自己构建大模型,在数据层面、系统开发层面,构建之后作为服务提供给消费者,要重视法规监管层面的要求。第四,企业用户在使用时,有很多不同的使用方式,可以通过监控提高安全团队对用户所使用服务的可见度。

企业如何安全地使用生成式人工智能的服务

Gartner建议:第一,CISO要持续地去记录、监控用户如何使用生成式人工智能的应用案例。第二,对于已经用的厂商、第三方,安全团队要提供一些具体的要求,也要辅助业务部门在使用或者部署这些服务的时候提供指引。第三,生成式人工智能技术还是在持续发展中,要持续观察这些新的服务带来的暴露面。第四,要拥抱新技术,不能因为其可能存在安全风险就不采用。使用过程中需要不断地试验,测量、监控安全措施的实施情况。

以下是Gartner发布的2024年网络安全九大重要趋势:

Gartner研究总监陈延全表示:“企业安全职能在技术、组织和人员方面面临颠覆。风险管理领导者必须进行完善的准备工作并采取务实的态度,以应对颠覆,实施高效的网络安全项目。”

为了应对这些因素的综合影响,2024年风险管理领导者需要在其安全计划中采取一系列实践方法、技术功能和结构改革,以此提高企业机构的韧性和网络安全绩效。

趋势一:持续威胁暴露面管理项目展现强劲势头

Gartner预测,到2026年,通过持续威胁暴露面管理项目确定安全投资优先级的企业机构,其安全漏洞将减少三分之二。

陈延全表示:“近年来,企业机构的攻击面急剧扩大,给企业机构带来了潜在的安全盲点,以及大量需要解决的潜在威胁暴露面。作为应对,安全和风险管理领导者开展了试点项目,引入相关流程来确定威胁暴露面的数量和重要性,并验证持续威胁暴露面管理(CTEM)项目的效果。”

趋势二:改善身份与访问管理实践,充分发挥其在提升网络安全成功方面的作用

在身份优先的安全方法中,利用身份与访问管理(IAM)取代网络安全及其他传统的安全控制措施成为了安全工作的重点。采取身份优先安全策略的企业机构,必须加强对基本的IAM规范以及IAM系统强化的关注,以提升韧性。

趋势三:以韧性为导向、资源效率更高的第三方网络安全风险管理

随着第三方遭遇网络安全事件变得不可避免,安全和风险管理领导者不得不将注意力从涉及大量前期投入的尽职调查转向了以韧性为导向的安全投资。勇于进取的安全和风险管理领导者已将旨在提升韧性的工作活动列为优先事项,例如实施补偿性控制措施和加强事件响应规划等。同时,他们正在为业务合作伙伴提供有针对性的支持,以帮助其优化与第三方的合作,并且影响与安全控制相关的决策。

趋势四:隐私驱动的应用和数据解耦,在碎片化的世界中优化运营

Gartner预测,到2025年,10%的全球企业将拥有一个以上受特定数据主权战略约束的业务单位,从而使创造相同业务价值的成本增加至少一倍。

陈延全表示:“基于国家主义的隐私以及数据保护和本地化要求不断增多,加剧了企业应用架构和数据本地化实践的碎片化。数十年来一直依赖单租户应用的跨国企业,面临着日益增加的合规要求和持续攀升的业务中断风险。作为应对,具有前瞻性的企业机构正在规划和实施不同层面的应用和数据解耦战略。”

趋势五:GenAI引发短期疑虑,但同时也点燃了长期希望

生成式人工智能(GenAI)引入了新的攻击面。为提供相关防护,企业机构必须对应用和数据安全实践以及用户监控进行变革。到2025年,GenAI的采用将导致企业机构所需的网络安全资源激增,从而使应用和数据安全支出增加15%以上。

此外,鉴于ChatGPT等大语言模型应用的兴起只是GenAI颠覆浪潮的开端,安全和风险管理领导者还需要就该技术的快速演进做好应对准备。

趋势六:安全行为和文化项目在降低人为网络安全风险方面的作用受到热切关注

客户和供应商已经认识到,当前只关注员工网络安全意识提升的普遍做法,对于减少员工行为导致的安全事件效果甚微。

陈延全表示:“安全行为与文化项目(SBCP)是一种企业层面的方法,旨在最大程度减少与员工行为相关的网络安全事件,无论这些事件是出于一时疏忽还是有意为之。SBCP的主要目标是改变员工行为。到2027年,50%的⼤型企业⾸席信息安全官(CISO)将采⽤以⼈为本的安全设计实践,以最⼤限度减少⽹络安全引发的员工抵触并提升安全控制的采⽤率。”

趋势七:网络安全成果驱动型指标助力安全领导者有效传达网络安全价值

网络安全成果驱动型指标(ODM)是包含特殊属性的安全运营指标,可以帮助利益相关者在安全投资与其所能实现的保护等级之间建立直接关联。

各行业企业机构都在网络安全人员、流程和技术方面进行了大量投资,然而网络安全事件的发生频率和负面影响却在持续攀升。这削弱了董事会和高管对于网络安全战略的信心。企业机构正在寻求一种衡量网络安全价值的方法,既能够引起高管的共鸣,还可以支持务实、符合业务需求的投资决策。ODM作为最具前景的候选方案之一,受到了越来越多企业机构的青睐。

趋势八:持续演变的网络安全运营模式

随着业务线继续取代IT职能成为技术获取、构建和交付的主体,传统的网络安全运营模式逐渐被打破。安全和风险管理领导者正在对网络安全运营模式进行调整,以满足业务部门在自主性、创新和敏捷性方面的需求。具体而言,安全工作的决策权日益分散化;安全策略的细节逐渐交由边缘侧的业务决策者负责;针对部分治理工作建立了集中和正式的治理机制,以更好地支持业务部门的风险负责人;安全和风险管理领导者的角色也正在从控制措施管理者向价值推动者演变。

趋势九:重塑网络安全技能,助力企业机构应对未来风险

到2026年,50%的大型企业将使用敏捷学习作为主要的技能提升/重塑方法。

陈延全表示:“安全和风险管理领导者面临着一系列重大趋势,而这些趋势都对网络安全团队的技能需求产生了影响。并且,新技能需求的增长速度将会超过新角色、新资格认证、新职位描述和新职位名称的创建速度。换言之,依靠学习型和发展型解决方案、招聘平台以及人力资源实践,将无法及时满足网络安全的技能需求。”

网络安全团队需要围绕敏捷学习改善学习和发展计划,并基于敏捷学习通过迭代和短期突击来优先发展实践技能。

上一篇:SASE技术应用落地的5个关键趋势

下一篇:国家网信办发布生成式人工智能服务备案信息