简介

人工智能(AI)已经迅速，不，爆炸性地从一个科幻概念转变为现代商业的基础支柱。麦肯锡最近的一份报告强调了生成式人工智能的兴起，报告显示，在公开亮相不到一年的时间里，三分之一的受访组织将生成式人工智能集成到至少一项业务功能中。高德纳预测，到2024年，75%的企业将从试点转向运营人工智能。在我的记忆中，历史上没有任何一项新兴技术能像人工智能那样飞速发展。

请记住，当我讨论人工智能采用时，我指的不仅仅是使用ChatGPT起草电子邮件或让ML系统向分析师发出网络安全警报。它的意义要深远得多。组织正在委托人工智能独立运行越来越多的任务。无论是客户服务聊天机器人处理查询，还是复杂的供应链管理和实物运输自动化，人工智能自主能力的价值正变得不可否认。很明显，企业不仅仅是对这个想法感兴趣;他们正在积极寻求在日常运营中赋予人工智能更多自主权的方法。

随着越来越多的企业和部门加入人工智能的大潮，我们看到了一个充满挑战的全新世界。随着每一次新的人工智能集成，确保其安全、合规和道德部署的复杂性呈指数级增长。

与我交谈过的首席信息安全官(CISO)已经因为“传统的”网络安全挑战而失眠了。不断发展的网络威胁形势已经成为焦虑的持续来源。现在，想象一下，当他们的组织开始在组织的各个口袋中采用自主人工智能系统时，他们的压力水平——ciso没有咨询过这些系统，也没有关于如何保护的线索。这足以让任何人患上溃疡。正如一位首席信息安全官所描述的那样:“我感觉自己正试图蒙住眼睛穿过繁忙的十字路口;在午夜;穿着黑色连体衣……”

这就是“首席人工智能安全官”(CAISO)的由来。这位专门的高管不仅将保护人工智能系统，还将确保企业在不损害安全、道德或合规性的情况下利用人工智能的潜力。随着人工智能继续重塑行业，CAISO将站在最前沿，应对人工智能驱动的新格局带来的挑战和机遇。

CAISO主要职责

随着人工智能的飞速发展，“网络安全”和“人工智能安全”之间的区别变得越来越明显。虽然这两个学科的目标都是保护数字资产，但它们的重点和面临的挑战在很大程度上存在差异。传统的网络安全主要是保护数字基础设施免受外部威胁、破坏和未经授权的访问。另一方面，人工智能安全必须解决人工智能系统带来的独特挑战，不仅要确保它们的鲁棒性，还要确保它们的道德和透明运行，以及人工智能模型和算法固有的独特内部漏洞。这些包括对抗性攻击、模型偏差和数据中毒。此外，与大多数在打补丁前保持稳定的软件不同，人工智能系统处于不断变化的状态，需要从新数据中学习和适应。这种动态引入了一组新的监控挑战，因为系统的行为可以随着时间的推移而改变，即使没有显式的重新编程。

在人工智能安全方面，我们所保护的系统可能会变成我们最大的对手。

CAISO必须解决的一些关键差异包括:

• 人工智能模型安全

AI模型安全侧重于保护和防御机器学习和深度学习模型免受各种威胁和漏洞的侵害。随着人工智能模型成为业务运营不可或缺的一部分，它们成为恶意行为者的诱人目标。威胁的范围从对抗性攻击(轻微的输入修改可以欺骗模型做出错误的预测)到模型反转攻击(攻击者试图从模型的输出中提取敏感信息)。另一个问题是模型盗窃，攻击者试图通过反复查询来复制专有模型。确保人工智能模型的机密性、完整性和可用性至关重要。这不仅包括防御直接攻击，还包括确保模型在预测中保持健壮和可靠，即使面对恶意输入或环境变化。适当的人工智能模型安全性可以确保这些计算大脑继续按预期运行。有关AI安全的更多信息，请参阅AI安全101。

• 人工智能供应链安全

该职能将侧重于确保整个人工智能供应链的安全，从数据收集工具和基础设施到第三方软件库和预训练模型。供应链中任何一个受损的元素都可能给最终部署的人工智能系统带来漏洞。鉴于在关键决策和运营中越来越依赖人工智能，确保人工智能供应链的安全至关重要。

• 人工智能基础设施安全

AI基础设施安全侧重于保护支持AI解决方案开发、部署和运营的底层系统和平台。这包括硬件、软件框架、云平台和网络。由于人工智能模型处理大量数据，往往需要大量的计算资源，因此它们可能成为网络攻击的主要目标。人工智能基础设施的漏洞可能导致未经授权的数据访问、模型篡改，甚至是恶意人工智能模型的部署。

虽然ciso处理的传统网络安全确实涵盖了数据完整性、基础设施安全和防止未经授权访问等方面，但人工智能基础设施安全的具体细微差别使其成为一个专门的领域。在我心里。

与传统网络安全不同的一些特定于AI基础设施的安全挑战包括:

• 专用硬件:人工智能通常需要专门的硬件，如图形处理单元(GPU)和张量处理单元(TPU)进行训练和推理。这些设备可能具有与传统CPU不同的漏洞。
• 数据流复杂性:人工智能系统通常涉及复杂的数据管道，在存储、处理和服务基础设施之间移动大量数据。确保数据量和速度的安全性和完整性将是许多ciso面临的新挑战。
• 模型服务:一旦经过训练，AI模型就会部署在推理引擎中，这可能会暴露给外部请求。这些引擎可以通过传统ciso不熟悉的方法进行模型提取或中毒。
• 管道依赖:AI管道通常依赖于各种开源库和工具。确保这些依赖关系没有漏洞并定期更新是一项独特的挑战，我认为，没有多少ciso在相同的规模上面临过这种挑战。
• 实时限制:一些人工智能应用，如自动驾驶汽车或实时异常检测，存在实时处理限制。确保安全措施不引入延迟是一种微妙的平衡，对于大多数传统ciso来说，这不是常见的体验。
• MLOps和ModelOps安全性

MLOps是机器学习和操作的融合，强调机器学习与生产环境的无缝集成。因此，MLOps的安全性侧重于确保整个管道的安全性和完整性——从数据收集和模型培训到部署和监控。它解决了模型的版本控制、训练期间的安全数据访问以及实时应用程序中的安全模型部署等挑战。

虽然上面提到的人工智能安全广泛地涵盖了对人工智能模型、数据和基础设施的保护，但MLOps的安全更深入到操作方面。它关注的是特定于ML工作流的持续集成和交付(CI/CD)过程。这包括保护自动化测试环境，确保只部署经过验证的模型，以及监控生产中的模型是否有任何漂移或异常。从本质上讲，虽然AI安全提供了总体保护框架，但MLOps安全确保将ML集成到业务流程中的日常操作不受影响。

• 人工智能数据保护

人工智能数据保护是关于确保人工智能系统中使用的数据的机密性、完整性和可用性。考虑到人工智能模型的好坏取决于它们所训练的数据，保护训练和验证数据至关重要。这不仅包括保护数据不受未经授权的访问，还包括确保数据保持公正、代表性和不受恶意篡改。它还降低了组织的监管风险,因为维护数据隐私,特别是在GDPR和其他不断增长的全球数据保护法规的时代,是不容商榷的。

传统的数据隐私控制侧重于加密数据、设置防火墙和控制访问。然而，人工智能面临着独特的挑战。例如，即使数据是匿名的，人工智能模型有时也可以进行逆向工程并揭示个人信息，这种现象被称为“模型反演”。为了解决这个问题，采用了差分隐私等技术。差异隐私确保了人工智能模型在被查询时不会泄露个人的具体数据，即使是间接的。它在数据中引入“噪声”，以保持数据对训练模型的整体效用，但阻止提取单个数据点。这只是人工智能数据保护需要一种超越传统隐私和数据保护措施的新方法的一个例子。

• 法律与合规

人工智能已经引起了无数监管机构的注意，这是理所当然的。人工智能相关法规和标准正在迅速发展。有时感觉好像每小时都在变化。这些规定旨在确保人工智能系统透明、公平、合乎道德，不会无意中伤害用户或造成偏见。它们涵盖隐私和数据保护、透明度、公平、解释权、道德使用、公平、国防或军民两用系统出口、网络安全等。

此外，不同的行业可能有自己的人工智能指导方针。例如，在患者数据隐私和模型可解释性方面，医疗保健领域的人工智能可能比娱乐领域的人工智能受到更严格的监管。

caiso必须确保他们的组织在使用人工智能进行创新的同时，既遵守现行法规，又为未来的立法转变做好准备。这需要与法律和合规团队密切合作，采取积极主动的方法，持续监控监管环境，并确保人工智能部署既符合道德标准，又符合法规要求。

• 道德人工智能部署

人工智能系统的部署不仅仅是技术和监管方面的考虑;它与伦理学有着千丝万缕的联系。确保合乎道德的人工智能部署意味着确保人工智能系统公平、透明地运行，没有意外的偏见。当基于历史数据训练的人工智能模型延续甚至放大现有的社会偏见时，道德挑战就会出现。例如，招聘人工智能工具可能会基于有偏见的培训数据而偏向于某些人口统计数据，从而导致不公平的招聘行为。人工智能的道德使用还包括透明度和可解释性。利益相关者应该能够理解人工智能系统是如何做出决策的，尤其是在医疗、金融或刑事司法等关键领域。CAISOs还必须考虑人工智能部署的更广泛的社会影响。例如，虽然人工智能系统可能会优化业务流程的效率，但它可能会导致工作岗位的流失。

应对这些道德挑战需要caiso与不同的团队密切合作，从数据科学家到人权专家和伦理学家。

• 人工智能的可解释性和可解释能力

虽然不是严格意义上的安全问题，但解释和解释人工智能决策的能力对信任至关重要。随着人工智能系统变得越来越复杂，理解它们的决策过程变得不那么简单。这是一个挑战，尤其是当人工智能驱动的决策具有重大影响时，比如在医疗诊断、金融贷款或刑事判决方面。可解释性指的是用人类语言描述AI系统为何做出特定决定的能力。如果没有这一点，信任和验证系统的输出是具有挑战性的。

另一方面，可解释性与AI模型的内在设计有关。一些模型，如深度神经网络，通常被称为“黑盒子”，因为它们的内部工作原理很难破译。caiso面临的挑战是确保这些模型既有效又可解释，允许潜在的审计、审查或检查。目标是在模型性能和理解和解释其决策的能力之间取得平衡。这不仅在用户和利益相关者之间建立了信任，而且符合要求提高人工智能决策透明度的新法规。

• 偏置检测与缓解

人工智能中的偏见问题不仅仅是一个技术问题;这是CAISO必须努力解决的一个深刻的伦理问题。人工智能系统接受了大量数据的训练，可能会无意中学习并延续数据中存在的偏见。这不是一台机器犯了一个无辜的错误;它是关于系统可能做出有利于一个群体而不是另一个群体的决定，或者使有害的刻板印象永久化。

想象一下，一个招聘人工智能，由于有偏见的训练数据，更倾向于来自特定背景的候选人。或者考虑一个面部识别系统，它很难准确地识别来自某些种族的个人。这种偏见可能会对现实世界产生影响，从不公平的就业机会到执法部门的错误识别。CAISO有责任实施严格的偏见检测机制，一旦发现，就部署策略来减轻这些偏见。这确保了人工智能系统是公平、公正的，不会延续或扩大社会不平等。

• 持续学习和适应

与传统软件在手动更新之前保持静态不同，人工智能系统有可能不断发展，完善他们的知识，并随着时间的推移而改进。问题是这种进化的系统会随着时间的推移而漂移。确保这种漂移不会引入漏洞或偏见是一项重大挑战。CAISOs必须取得平衡，确保人工智能系统能够学习和适应新信息，同时保持其完整性和目的。这包括监控学习过程，验证新知识，并定期重新校准人工智能以确保其保持在正确的轨道上。

• 虚假信息和深度伪造

随着人工智能生成内容的兴起，防御和检测深度造假和其他形式的人工智能生成的虚假信息日益受到关注。深度造假是由人工智能生成的超现实但完全虚假的内容，其范围从修改过的公众人物视频到伪造的录音。其影响是巨大的:从完全个性化的、大量的鱼叉式网络钓鱼活动，到传播虚假新闻和损害声誉。

想象一下这样一个场景:一位首席执行官宣布公司合并的深度伪造视频在网上疯传，导致股市混乱。或者考虑一下用于授权金融交易的伪造录音的后果。CAISOs必须站在开发检测工具的最前沿，以识别和应对这些人工智能生成的虚假信息。这不仅涉及技术解决方案，还涉及提高对潜在风险的认识和教育利益相关者。

• 网络能动安全

通过人工智能驱动的自主系统，数字世界和物理世界的融合为首席人工智能安全官(CAISO)带来了一个新的安全问题领域:网络能动性挑战。在这些网络物理系统中，网络攻击不仅会导致数据泄露或软件故障;它可能会导致现实世界的动能冲击，带来潜在的毁灭性后果。想象一下，人工智能驱动的电网被操纵导致停电，或者自动驾驶汽车的系统被黑客入侵导致碰撞。

赌注很高，特别是当人类的生命、福祉或环境处于危险之中时。例如，控制化工厂的人工智能系统可能会导致环境灾难。因此，CAISOs必须确保这些系统不仅是数字安全的，而且能够抵御旨在造成物理伤害的攻击。这涉及一种多层方法，将强大的数字防御与物理组件中的故障安全和冗余集成在一起。

• 人机协作安全

与之前的主题有些重叠，但在我看来，值得单独考虑的是人类与人工智能的协作——人工智能应用中最有前途但也最具挑战性的领域之一。随着人工智能系统成为团队成员，而不仅仅是工具，确保这种伙伴关系的安全对首席人工智能安全官(CAISOs)来说至关重要。这不仅仅是确保AI行为正确;而是要确保人类与人工智能的互动是安全的、值得信赖的、不受外部操纵的。

想象一下这样一个场景:一个人工智能助手为医生提供治疗病人的建议。如果这种合作的完整性受到损害，就可能导致错误的医疗决定。同样，在金融或国防等行业，人工智能的一个被操纵的建议可能会导致重大的财务或安全风险。CAISOs必须确保人类和人工智能之间的沟通渠道是安全的，人工智能的建议是透明和可验证的，并且有适当的机制来检测和抵消任何欺骗或误导人类或人工智能的企图。在协同人工智能时代，安全重点从仅仅保护人工智能转向保护整个人类-人工智能协同生态系统。

• 人工智能驱动系统的物理安全

虽然大部分对人工智能安全的关注都围绕着数字威胁，但人工智能驱动系统的物理安全对于首席人工智能安全官(CAISO)来说同样至关重要。人工智能系统，特别是部署在关键基础设施或现场的人工智能系统，可能成为物理篡改、破坏或盗窃的目标。例如，向人工智能系统提供数据的传感器可以在传感器的模拟部分被操纵，或者人工智能模型运行的硬件可以被物理访问，以提取敏感信息或注入恶意代码。

此外，边缘设备，如由人工智能驱动的物联网设备，通常部署在不安全的环境中，使它们容易受到物理攻击。CAISO必须确保这些设备是防篡改的，并且可以检测和报告任何物理破坏。这可能涉及使用安全的硬件封装、防篡改密封，甚至是高度敏感的应用程序的自毁机制。

• 对环境变化的稳健性

随着人工智能系统越来越多地融入我们的日常运营，它们在环境变化中保持弹性和有效性的能力成为另一个新的问题。这不仅仅是关于AI在稳定环境中运行的能力;而是要确保人工智能能够在周围环境发生变化时有效地适应和响应。CAISOs必须与人工智能工程师合作，确保人工智能系统不仅接受多样化和代表性数据的培训，而且具有检测、适应和响应环境变化的机制。这包括持续监控、再培训和更新人工智能模型，以保持它们的相关性和有效性。

• 部署后的监控

确保AI系统在部署后按预期运行是caiso的另一项关键责任。一旦人工智能系统上线，它就会与现实世界的数据、用户和其他系统进行交互，所有这些都会带来不可预见的挑战。在测试期间表现良好的人工智能模型可能会在暴露于新类型的数据或恶意输入时开始出现意外行为。或者随着时间的推移，由于所处理的数据发生变化，模型可能偏离其预期目的。caiso必须建立强大的部署后监控机制，实时跟踪AI系统的性能、行为和健康状况。这包括设置异常警报，定期审计系统的决策，并根据需要建立反馈循环来改进和重新校准AI。从本质上讲，部署后监控确保人工智能系统在整个生命周期中保持可靠、值得信赖，并与其预期目的保持一致。

• 量子对人工智能的威胁

量子计算机具有同时处理大量数据的能力，有可能破解目前被认为无法破解的加密方法。这意味着通常依赖加密来保护数据和安全通信的人工智能系统可能容易受到量子攻击。此外，量子算法或许能够对人工智能模型进行逆向工程，或者以以前认为不可能的速度发现其中的漏洞。对于CAISO来说，挑战是双重的:理解不断变化的量子威胁形势，并积极制定战略，在后量子世界中保护人工智能资产。这包括研究抗量子加密方法，并根据量子能力重新思考当前的人工智能安全协议。

CAISO在组织结构中的位置?

实际上，当组织第一次认识到需要CAISO时，这个角色很可能首先向首席信息安全官(CISO)报告。考虑到人工智能和传统网络安全的重叠担忧，这是一个自然的起点。组织，尤其是大型组织，通常会抵制剧烈的结构变化，在领导团队中增加一个新角色并不是一个轻易做出的决定。

随着企业越来越依赖人工智能驱动的解决方案，风险将变得更高。人工智能不仅仅是一个工具;它正迅速成为许多关键业务操作的支柱，取代了以前执行特定功能的工具和人员。随着人工智能的崛起，网络威胁将不断演变。攻击者将越来越多地瞄准人工智能系统，认识到它们的战略重要性。传统的网络安全技能虽然有价值，但并不能直接转化为人工智能的独特挑战。人工智能安全方面的技能差距将继续扩大。与组织其他各部门的合作将不断深化。

鉴于上述因素，组织认识到CAISO角色的战略重要性只是时间问题。随着人工智能继续塑造商业的未来，caiso将发现自己不仅要向执行领导团队汇报，而且要成为执行领导团队不可或缺的一部分。他们的洞察力、专业知识和领导力将在应对人工智能带来的挑战和机遇方面发挥关键作用。

尽管CAISO的角色之旅可能在传统网络安全的保护伞下开始，但其最终目标很明确:在高管桌上占有一席之地。

引入CAISO的潜在挑战

在组织中采用CAISO角色无疑会带来一系列可预见的和不可预见的挑战。一些潜在的问题包括:

• 角色定义:明确定义CAISO与其他角色(如CISO、CTO、CIO和数据科学主管)的界限和职责可能具有挑战性。与此相关的是层次结构和报告:决定CAISO在组织结构中的位置以及他们向谁报告可能是有争议的。他们应该加入执行团队，还是向首席信息安全官或首席技术官汇报?
• 预算分配:为人工智能特定的安全计划获得专门的预算可能具有挑战性，特别是如果人们认为传统的网络安全预算应该涵盖它。
• 对其他职能的依赖:CAISO角色，至少在最初，将更多地是跨多个不同部门的资源协调者，而不是一个涵盖所有所需能力的专门团队的所有者。以威胁情报功能为例。跟上最新的AI特定威胁、漏洞和缓解技术将是一项巨大的挑战。如果使用现有的网络威胁情报团队和提供商，人工智能安全是否会得到足够的重视?如果不是，那么建立一个专门针对人工智能的情报团队是否现实?
• 技能差距:在人工智能和安全的交叉领域存在显著的技能差距。找到并留住在这两个领域都有专长的人才可能很困难。或者，获得预算和所需时间来提升现有团队成员的技能可能会带来其他挑战。
• 抵制改变:现有团队可能会抵制引入一个新的执行角色，认为这是对他们的领地的侵犯，或者是增加了一层官僚主义。
• 影子人工智能:首席信息安全官目前不愿意或不具备处理人工智能系统的能力。当组织采用CAISO角色时，影子人工智能-未正式知道或在网络安全部门控制下的人工智能解决方案-将会激增，并且在不影响运营的情况下将它们置于CAISO的控制下将是一个重大挑战。

结论

随着人工智能继续迅速崛起，成为几乎每个商业领域不可或缺的工具，对专门的首席人工智能安全官(CAISO)的需求变得越来越明显。CAISO的角色不仅仅是确保人工智能系统的最佳功能;这是关于保证他们的安全，确保他们的部署符合道德标准，并在复杂的法规遵从性迷宫中导航。随着人工智能的能力日益扩大，潜在的风险和道德困境也随之增加。

虽然CAISO的概念对一些人来说似乎是一个未来主义的概念，但人工智能技术的爆炸性采用率表明，这不仅仅是一个遥远的可能性，而是一个即将到来的现实。有远见的组织已经在考虑这一举措。

原文：Why We Need a Chief AI Security Officer (CAISO)

来源：数字安全的理会践行