文 | 腾讯政策发展中心主任 翟尤

美国公司 OpenAI 开发的人工智能聊天机器人程序 ChatGPT，以高度拟人化的交流方式，成为自然语言为交互方式的通用语言处理平台。一方面，ChatGPT 可以辅助人们提高工作效率、推动社会进步，并为提供相应的网络安全保护。另一方面，如果不受控制和规范，ChatGPT 可能会导致未来的网络环境受到攻击并充满威胁。

一、ChatGPT 提升网络安全智能化水平

从 ChatGPT 发布开始，网络安全领域的研究人员一直探索如何将 ChatGPT 融入网络防护、数据安全保护等工作。网络安全厂商也在加快应用人工智能技术应用的步伐。根据市场调研机构 Meticulous Research 2020 年的报告数据，未来五年网络安全人工智能市场的复合年增长率为23.6%，到 2027 年的市值将达到 463 亿美元。虽然 ChatGPT 是一款人工智能聊天机器人，但是它已经在安全控制和防护机制方面对网络安全产生了影响。总体看，ChatGPT 在提升网络安全智能化水平方面，主要表现在以下三个领域。

1. 检测易受攻击代码

ChatGPT 可以帮助安全人员检测代码的安全性，并给出如何修复的意见和建议。对于希望快速检查代码是否存在漏洞的研究人员而言，虽然 ChatGPT 还存在一定的不足，但是 ChatGPT 确实是一个实用的工具。根据 2023 年 2 月媒体暗读（Dark Reading）报道，卡巴斯基研究人员维克多·谢尔盖夫（Victor Sergeev）在一项实验中发现，ChatGPT 能够识别系统中运行的恶意程序。研究人员用 ChatGPT 驱动的扫描器扫描被感染的目标系统，最终发现了系统中运行的两个恶意程序，并成功跳过了 137 个良性进程。这种方法有效提高了安全人员的工作效率，也让研究人员发现了 ChatGPT 在网络安全领域的应用潜力。

2. 任务自动化

ChatGPT 在实现网络安全日常工作的智能化方面也将发挥巨大作用。例如，网络安全人员可以使用 ChatGPT 加强脚本、策略编排、安全报告的自动化撰写工作，甚至可以针对渗透测试报告编写修复指南。同时，ChatGPT 还可以生成报告大纲，在报告中添加自动化元素，也可以根据网络安全需求输出网络安全培训课程。对于渗透测试和安全产品开发人员来说，ChatGPT 可以帮助生成单元测试代码或渗透测试的脚本，从而节省开发人员时间，提升效率。因此，ChatGPT 可以被用来辅助完成网络安全防御任务，包括使用 ChatGPT 生成检测脚本、解析系统日志，以及完成安全情报众包、安全事件响应等工作。

3. 降低安全产品使用门槛

由于网络安全产品具有使用门槛较高、覆盖用户较窄的特点，用户需要具备一定的专业知识，并且需要在使用前进行培训。对于那些不具备安全专业知识的用户来说，他们很难有效使用网络安全产品的功能。ChatGPT 的出现降低了用户的使用门槛，尤其是在自然语言处理能力方面，有效提升了用户调用网络安全产品功能的可能性。例如，美国 Strike Ready 公司开发的 Cara 平台能够将自然语言能力融入网安安全产品，让使用者可以在聊天对话框中向系统发出指令，从而更加高效、简便地调度安全产品。

二、ChatGPT 带来网络安全风险

ChatGPT 能够帮助检测易被攻击的代码，也可以被黑客利用寻找网站的安全漏洞，从而使网络安全攻击变得更加容易。随着对 ChatGPT 的研究深入，利用 ChatGPT 进行攻击的方法和技巧不断被披露，网络攻击门槛迅速降低。这些情况也带来了极大的网络安全风险。

1. 降低网络攻击门槛

与任何新技术、新应用面临的问题类似，网络攻击者也会利用 ChatGPT 作为新的攻击手段或工具。这将降低网络攻击的入门门槛。大模型在训练过程中，学习了大量数据语料资源，其中，开源机构提供了诸多高质量数据，由于开源数据缺少安全检验和过滤机制，很可能导致生成的代码还存在漏洞。这些漏洞如果被攻击者利用，将会造成窃取、篡改、删除数据库信息，甚至控制服务器等风险。除了可以用于生成网络攻击的脚本、钓鱼邮件，ChatGPT 也可以被用来破解一些简单加密的数据。通过钓鱼邮件和恶意代码生成等手段降低攻击成本的方法，可以使黑客更加容易实施网络攻击。可以说，攻击者不需要深厚的编程技能和大量资金，就可以发起网络攻击。对于没有经验的人，他们可以利用 ChatGPT 编写用于间谍、勒索攻击、钓鱼邮件的软件和电子邮件。例如，不法分子冒充企业营销团队要求 ChatGPT 编写代码，向大量用户发送短信和邮件，并在其中隐藏恶意链接，从而更快速传递违规内容。

2. 恶意代码编写

由于可以通过大量的代码和文本混合数据进行训练，ChatGPT 极易生成恶意代码，而这些被训练的代码主要来自 CSDN、StackOverFlow、GitHub 等专业网站。例如，犯罪分子利用应用程序编程接口把 GPT 模型接入外部应用，可以绕开安全监管。目前，此类应用已经在暗网公开出售。同时，还有黑客在网络空间分享如何利用 ChatGPT 建立窃取程序代码、辅助生成的攻击脚本、恶意 URL 注入代码等教学信息。因此，ChatGPT 可以让没有编码技术的人员在短短几分钟内炮制出含有恶意软件的电子邮件，实现对目标进行网络攻击。例如，皮库斯安全公司（PicusSecurity）的安全研究员兼联合创始人苏莱曼·奥扎斯兰（Suleyman Ozarslan）使用 ChatGPT 不仅成功创建了网络钓鱼网站，还为 MacOS 创建了勒索软件。

3. 敏感数据泄露

由于 ChatGPT 需要广泛搜集网络资料以及与人的对话获得新的信息实现回答的精准度，因此，ChatGPT 具有较强的语言理解能力。在现实应用场景中，已经有用户在 ChatGPT 生成的内容中发现了与企业内部机密信息十分相似的文本，这些信息如果用来对 ChatGPT 进行训练和迭代，将会进一步造成数据泄露。根据南方都市报 2023 年 2 月 10 日的报道，微软首席技术官（CTO）办公室的一名高级工程师曾指出，在日常工作中不要将敏感数据发送给 ChatGPT，因为这些数据将来有可能会被用于模型的训练。据 2023 年 4 月 3 日 21 世纪经济报道，数据安全公司 Cyberhaven 对 160 万用户使用 ChatGPT 情况的调查数据显示，2.3% 的用户将公司机密数据贴入 ChatGPT，企业员工平均每周向 ChatGPT 泄露机密材料达数百次。

4. 网络诈骗

虽然 ChatGPT 的开发者要求标注员在评价机器生成的结果时遵循“有用”“真实”“无害”的原则，并明确指出“在大多数任务中，真实和无害比有用更重要”，但是，犯罪分子利用 ChatGPT 撰写钓鱼邮件和勒索软件代码仍不可避免。ChatGPT 自有的安全机制虽然能够识别“网络钓鱼攻击可用于恶意目的，并可能对个人和组织造成伤害”，但是在使用者一番“说教”或者“诱导提示”后仍然会生成钓鱼邮件或勒索代码。例如，攻击者可以以安全专家的身份要求 ChatGPT 提供钓鱼邮件的案例或模版用于研究，让使用者用 ChatGPT 轻松生成钓鱼邮件的内容。2023 年初，安全技术公司迈克菲（McAfee）利用人工智能生成一封情书，并发给全球 5000 位用户。结果显示，在已经告知情书有可能是人工智能撰写的前提下，仍有 33% 的受访者认为情书的内容来自人类手笔。同时，2022 年 12 月，新加坡政府安全研究人员创建 200 封钓鱼邮件，并与 GPT-3 创建的邮件进行点击率比较，结果发现，ChatGPT 生成的钓鱼邮件被用户点击的次数更多。

5. 个人隐私保护与利用

OpenAI 公司公布的隐私政策并未提及类似欧盟《通用数据保护条例》（GDPR）等数据保护法规，而在数据使用的相关条款中，OpenAI 承认会利用手机用户使用服务时所输入的数据，但是，对数据的具体用途则没有进一步说明。目前，对 ChatGPT 在训练过程中是否有效删除对个人数据，不得而知。对于 ChatGPT 这样底层为较大模型的应用来讲，全面删除个人信息的难度较大。ChatGPT 是基于大模型的应用，又处于直接面向用户的应用场景，因此，将面临大量安全和隐私问题。

三、客观看待 ChatGPT 带来的网络安全利弊

在新一轮科技竞争中，人们需要在防御性人工智能与攻击性人工智能竞争中，更有效地学习并利用智能化技术快速提高企业和个人的安全意识和能力。在网络安全攻防对抗模式下，以智能对抗智能是未来发展的方向。

一是客观看待 ChatGPT 在网络安全的应用价值。ChatGPT 可以有效提高安全人员的工作效率。一些基础和简单的工作，例如基本的框架性代码、简单的语言翻译、内容摘要等，可以利用 ChatGPT 提高效率。但是，不能完全依赖 ChatGPT 解决所有问题。对于复杂代码生成、敏感信息的处理，则应慎重使用类似 ChatGPT 的应用，以免带来黑客入侵、敏感信息泄露等风险。

二是安全意识仍是使用 ChatGPT 等工具的前提条件。研究人员或者使用者，由于并不具备网络安全相关知识和技能，很容易将包含安全漏洞的代码作为训练样本输入模型，使模型输出包含安全漏洞的代码。因此，使用者需要加强自身的安全意识，在使用 ChatGPT 生成的代码时要更加谨慎，防止数据泄露或生成的代码中包含可利用的已知漏洞。若数据中包含密钥、数据库账号和密码等登录用的敏感信息，则可能造成入侵事件，甚至引发大规模数据泄露。

三是注重数据在 ChatGPT 应用过程中的安全合规。数据已经成为核心资产，因此，对数据的保护和使用将变得更加重要。在使用 ChatGPT 时，需要避免把敏感信息、重要工作文档或者数据库中带表名、字段的数据发给 ChatGPT 进行数据分析，因为这些数据有可能会被收集并作为训练数据，存在泄密风险。例如，三星公司曾在使用 ChatGPT 的过程中发生内部会议、数据等敏感信息泄露事件。

四是构建 ChatGPT 的安全可信体系。需要进一步加强 ChatGPT 的可解释性、鲁棒性等，确保模型输出的内容不带偏见，并且具备更大的容错空间。同时，需要探索 ChatGPT 背后大模型的安全评估机制，从典型安全场景、指令攻击等多个角度不断提升 ChatGPT 的安全能力和可靠性。

（本文刊登于《中国信息安全》杂志2023年第7期）

来源：中国信息安全