生成式人工智能是一种人工智能发展的新技术样态，通过利用神经网络、深度学习与迁移学习等算法提高算法精度与效率，满足大量实时交互与沉浸式交互的需求。随着人工智能技术的应用普及，生成式人工智能技术滥用等问题不断出现，同时也带来了信息安全问题。例如，在 2023 年 2 月美国芝加哥市长选举投票前夕，关于候选人保罗·瓦拉斯（Paul Vallas）放纵警察执法暴力的深度伪造音频出现在社交媒体，由此引发美国主流媒体对生成式人工智能可能影响 2024 美国总统大选的担忧。2023 年 4 月，美国斯坦福大学以人为本人工智能研究所（Stanford HAI）发布的《2023 年人工智能指数报告》（Artificial Intelligence Index Report 2023）分析了人工智能的影响和年度趋势。报告发现，关于人工智能滥用的事件数量正在迅速上升。通过追踪人工智能道德滥用相关事件的人工智能算法和自动化事件和争议（AIAAIC）数据库，2012 年至 2022 年十年间，人工智能相关争议事件增加近 26 倍。针对各类人工智能问题，世界主要国家和地区陆续从安全性审查、技术禁用等角度出台有关监管措施，以期实现对生成式人工智能的有效治理。

一、生成式人工智能的安全风险

生成式人工智能是利用以 Transform 为代表的算法模型，基于海量数据预训练和实时数据特征提取自主生成创造新内容的技术范式，并因其自主化、创造性的生成内容可以显著提升信息获取和生成效率，迅速演化为社会“热捧”的前沿技术。从技术样态及其应用而言，诸多人工智能数据被提取、使用和创造，机器生成的海量内容涌入网络空间，带来的风险不言而喻。

（一）基于算法能力的内容安全风险

生成式人工智能改变了互联网信息生成和传播模式，使人工智能生成内容（AIGC）成为继专业生产内容（PGC）、用户生产内容（UGC）后的新型内容生产方式。“生成式+人工智能”的组合为虚假信息的泛滥提供了前所未见的技术“支撑”。生成式人工智能注重知识重组、创造和输出，如果人为对其进行有偏见性的数据导入和算法建构，其诸多内容生成极易演变为偏见性的意识形态输出。

一方面，传统的人工智能模型虽然可产生虚假信息，但是其规模和影响力有限。以 ChatGPT 为代表的生成式人工智能应用，可以在情境化和个性化语境操纵、说服和影响用户。操纵者可以大量生产并扩散虚假信息，并利用社会不稳定情绪引导受众目标的价值取向，分裂公众原有的社会共识，危害国家安全。

另一方面，生成式人工智能将加速国家数字数据基础设施战略向“预测”转变，技术的政治嵌入性、算法的政治预测性、数据的政治应用性将在生成式人工智能加持下改变政治生态。国家治理逻辑转向预测、先发制人和“模拟未来”，国家倾向于从数据中“了解”公民，并将决策交给机器学习。操纵者在大模型建构中可通过数据污染、算法黑箱等形式干扰国家政治决策。

（二）基于技术应用的数据安全风险

人工智能训练数据安全是一个重要问题。数据层的风险多表现为数据违规爬取、合成数据违规使用、人工标注数据歧视及敏感数据存储安全等。为形成接近于人类语言的语言模型，生成式人工智能训练的数据量多达上万亿，并不断实现监督学习、人工纠错、强化学习、进行对话模拟等过程。训练数据包括大量个人数据、行业数据甚至国家数据等重要且敏感的数据，并且在被使用的过程中不断收集使用者相关数据信息。这些数据同样面临跨境数据流动问题。国家和国际层面的跨境数据流动政策不仅会影响贸易、创新和经济进步，还会影响与数字化成果分配、人权、执法等与国家安全相关的一系列问题。

（三）基于大模型的算法安全风险

基于大模型的生成式人工智能也带来了算法透明度低、算法歧视影响社会公平、算法归责存在困境等问题。在算法可解释性方面，大模型技术的可解释性将彻底颠覆以算法透明为内核构建而成的算法治理体系。生成式人工智能的技术公司是规则制定者与规则执行者，可以凭借技术优势人为构建“运行黑箱”，导致算法运行过程难以被监控，进一步加剧信息不对称。尽管生成式人工智能模型在很多任务上表现出色，但是其复杂的内部工作机制使模型解释性变得困难。这可能导致在模型出现问题时难以定位原因，增加了算法归责的难度。如果生成式人工智能模型依赖的大量训练数据存在偏差，就会导致模型在某些特定领域的预测结果存在偏差，从而影响算法的公平性和准确性。

二、主要国家和地区的生成式人工智能监管实践

以美国、欧盟、英国和中国为代表的国家和地区，均针对生成式人工智能提出了相异的监管方法，形成了不同的监管类型。

（一）技术审查思路

部分国家和地区采用技术审查措施，重点关注生成式人工智能的安全性风险。技术审查是确保生成式人工智能系统安全、可靠和合法的关键环节，主要目的是评估生成式人工智能系统的技术性能、安全性、可靠性及合规性，确保人工智能系统不会对用户造成伤害或侵犯用户隐私权益。技术审查涵盖多个方面，主要包括数据安全与隐私保护、模型训练与优化、算法设计与实现、系统集成与测试等。技术审查也应考虑人工智能系统在各种应用场景的性能表现、安全风险及合规要求。

美国政府在 2022 年 10 月发布了《人工智能权利法案蓝图》（Blueprint for an AI Bill of Right），旨在指导自动化系统的设计、使用和部署，保护美国公众个人数据不被人工智能算法滥用。2023 年 1 月，美国国家标准与技术研究院（NIST）发布了《人工智能风险管理框架》（AI RMF），旨在指导机构组织在开发和部署人工智能系统时降低安全风险，确保人工智能的稳健性、安全性和道德性。然而，这些政策措施并没有完全消除业界和学界对人工智能技术可能造成危害的担忧。2023 年 3 月，埃隆·马斯克（Elon Musk）等千名业界和学界人士联署公开信，呼吁所有人工智能实验室立即暂停训练比 GPT-4 更强大的人工智能系统，暂停至少 6 个月，以便制定和实施安全协议。2023 年 4 月，美国科技伦理组织人工智能和数字政策中心（CAIDP）要求美国联邦贸易委员会（FTC）阻止 OpenAI 发布新的 GPT-4 商用版本，理由是 GPT-4“有偏见性，欺骗性，对隐私和公共安全构成风险”。2023 年 4 月，出于对人工智能技术可能造成危害的担忧，拜登政府已开始研究是否需要对 ChatGPT 等人工智能工具进行审查。美国商务部的国家电信和信息管理局（NTIA）就 ChatGPT 等人工智能工具监管措施公开征求意见，收集的公众意见将提供给白宫，确保联邦政府对人工智能相关风险和机遇采取统一而全面的措施。

除美国外，仅在 2023 年 4 月就有多个国家出台了关于生成式人工智能及其应用工具的审查性政策。4 月 4 日，加拿大隐私专员办公室宣布，将对 ChatGPT 背后的公司 OpenAI 展开调查，调查的原因是其涉嫌“未经同意收集、使用和披露个人信息”。美国路透社 4 月 11 日消息，法国网络国家信息自由委员会（CNIL）表示，正在调查有关 ChatGPT 的几起投诉。4 月 13 日，西班牙数据保护局（AEPD）要求欧洲数据保护委员会（EDBP）评估关于美国 OpenAI 公司 ChatGPT 的隐私问题。5 月 11 日，美洲数据保护网络（RIPD）提议在行使其职权时对生成式人工智能服务启动监督工作，并将在网络框架内开展协调行动。RIPD 是一个由该地区 12 个国家的 16 个数据保护机构组成的论坛，目标是促进和保障个人数据保护的基本权利，常设秘书处设在西班牙数据保护局。

（二）技术禁用对策

除技术审查思路外，部分国家和地区采用更为直接和强制的技术禁用对策。所谓技术禁用是指直接通过行政指令、法律程序等形式在特定主权领域内禁止使用生成式人工智能应用的对策形式。技术禁用可以暂时遏制生成式人工智能所带来的即时性风险，发现并解决潜在的问题，从而保障人工智能系统的可靠性和安全性。

作为欧洲最严格的人工智能监管国家，意大利成为全球首个禁用 ChatGPT 的国家。2023 年 3 月 30 日，意大利个人数据保护局发布公告，禁止使用 ChatGPT，并限制 OpenAI 处理意大利用户的个人信息，同时启动对该公司的调查。意大利个人数据保护局指出，ChatGPT 违反了《通用数据保护条例》（GDPR）规定，因为它未经用户同意就收集和使用了他们的个人数据，同时未提供足够的透明度和可解释性信息，也未保证数据的安全性和质量。4 月 12 日，意大利个人数据保护局表示，OpenAI 若要解禁 ChatGPT，需在 4 月 30 日前在网站上说明 ChatGPT 数据运用原理和方式，要求意大利用户确认自己年满 18 岁，出台技术方案允许用户和非用户纠正或删除 ChatGPT 产出的错误信息，并在 5 月 15 日前开展宣传活动，告知公众将使用个人数据训练算法，在 9 月 30 日前需采取禁止 13 岁以下用户和确保 13 岁至 18 岁用户获得父母同意的措施。

2023 年 4 月 21 日，德国人工智能工作组负责人Dieter Kugelmann 表示，德国监管机构将对 OpenAI 的隐私实践和欧盟通用数据保护条例合规性展开调查，可能会效仿意大利，暂时禁用 ChatGPT，原因同样是数据安全问题。德国监管机构认为，《通用数据保护条例》对 OpenAI 和 ChatGPT 构成了重大挑战，ChatGPT 可能侵犯了用户的隐私权和知情权，而且可能产生误导性或有害性的内容，对公共秩序和民主制度构成威胁。

（三）制度化技术监管方法

技术审查和技术暂用的监管实践，体现为应对生成式人工智能突然大规模应用的临时性措施。制度监管则是通过制定和完善相关法规、政策和标准，规范生成式人工智能的使用和管理，从而实现对人工智能的有效监管。

为促进生成式人工智能技术健康发展和规范应用，根据《网络安全法》等法律法规，中国在 4 月 11 日发布了《生成式人工智能服务管理办法（征求意见稿）》，并于 7 月 10 日正式发布《生成式人工智能服务管理暂行办法》。该管理办法指出，利用生成式人工智能生成的内容应当真实准确，相关服务提供方应向国家网信部门申报安全评估，采取措施防止生成虚假信息。该管理办法将生成式人工智能的监管重点置于服务提供层，放宽了对技术研发的监管限制。

4 月 27 日，欧洲议会就《人工智能法案》（The AI Act）提案达成临时政治协议。该法案要求部署 ChatGPT 等生成式人工智能工具的公司披露用于开发其系统的受版权保护的材料。该法案对生成式人工智能的透明性做出初步要求，例如要求披露信息是由人工智能生成的情况、算法框架应谨防非法内容生成以及公开用于算法训练的数据版权。6 月 14 日，欧洲议会投票通过了《人工智能法案》草案。之后，欧洲议会、欧盟委员会和成员国将就该法案最终条款进行谈判磋商。

三、生成式人工智能的监管挑战

由于生成式人工智能技术的颠覆性和创造性，如何实现技术的有效监管仍是对现有监管制度的挑战。各国均采取措施积极应对，美国采取技术治理路径，欧盟采取风险管理路径，中国采取制度化技术监管方法，既有制度创新，也保持了监管体系统一，既重视内容安全，又注重发展和安全的统一。但是，各国监管措施仍表现出临时性、应急性特点，主要目的是遏制技术“过热”对数据安全、信息权利造成风险。虽然从监管功能实现而言，技术审查和技术禁用等措施，在短时期可以在很大程度上遏制生成式人工智能的恣意滥用，但是从技术发展的长远角度考虑，应建立长效化、专门化的法律制度体系，实现对生成式人工智能的有效监管。

一是现有网络信息安全责任分配思路无法适应生成式人工智能应用的基本模式。网络平台监管思路强调“网站平台信息内容管理主体责任”，网络平台管理者有义务审核平台信息的真实性、准确性。这是与其网络信息传播渠道的基本定位相契合的归责思路。但是，生成式人工智能服务提供者是依据用户需求创制新内容，扮演的角色是“网络信息内容生产者”，因而生成式人工智能难以执行信息传播任务。AIGC 的用途由用户决定，可以用于学习、科研等公益目的，也可以被用于制造虚假舆论。《生成式人工智能服务管理暂行办法》第十四条规定：“提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。”这在实质上是要求生成式人工智能服务提供者承担 AIGC 的合法性审查责任，与网络平台责任分配思路保持相似，却与技术应用范式不同。因此，亟需以“网络信息内容生产者责任”为基点，提出更为详尽具体的监管措施。

二是对监管体系的技术挑战。现阶段，人工智能及生成式人工智能的监管模式均将重点置于监管组织建设、责任分配和违法责任追究等制度性议题，所提出的如数据版权、算法透明性和备案规则也并未就此类“平民化”的深度伪造风险提出应对措施。

三是对现有立法模式的挑战。生成式人工智能监管的复杂性，挑战现有立法模式。从监管法律制度建构而言，如“禁止生成式人工智能滥用”“禁止生成虚假、暴力、色情等非法 AIGC”的简单表述，实质上仅完成了宣示性的法律文本建构工作，并未有效遏制生成式人工智能的诸多风险。生成式人工智能技术关涉数据安全、算法公正和算力保障等议题，又牵涉网络谣言、网络暴力和虚假信息治理多方位因素。现有立法体系亟需以更加技术性的立法模式，建构生成式人工智能的监管体系。

四、以“一体多元”为监管对象的风险应对

虽然世界主要国家和地区依据生成式人工智能应用现状提出了临时性或暂时性的监管措施，但是从监管措施的长效化、法治化角度出发，仍需明确生成式人工智能监管对象，只有明确生成式人工智能的监管对象，有关监管措施才可以依据对象要素提出有针对性且体系化的监管方法。从生成式人工智能的技术样态及其社会应用模式出发，其监管对象表现出“一体多元”的基本样态，需要以算法、算力和数据等技术要素为本位，结合技术社会应用所制造的多元化现实风险，提出更具有针对性的监管对策。

所谓“一体”，是指以生成式人工智能的技术样态为本位，将监管对象确定为生成式人工智能的底层要素，即算法、算力和数据。从算法角度看，监管制度应以维护算法公正性为目的，制定诸如生成式算法备案、算法训练和算法纠偏机制等规则。从数据角度看，监管制度应着重遏制生成式人工智能恣意收集用户数据，或数据导入不完全、不真实的情况，特别是对网络信息质量进行专项治理，保证 AIGC 信息的真实性。算力作为生成式人工智能运行和发展的底层“燃料”，不宜从技术发展角度进行限制，但是可以作为遏制生成式人工智能严重风险的应急手段。换句话说，在生成式人工智能的发展或应用范式对国家安全产生重大影响时，可以通过必要的算力限制规则从底层抽离技术恣意的风险。

所谓“多元”，是指对生成式人工智能的社会应用样态进行动态式的监管。目前，生成式人工智能的主要应用模式是人机交互生成图片、文字等信息，技术应用主要停留在信息生成阶段。从技术发展趋势和应用潜能看，生成式人工智能与社会交融的方式和渠道仍难以预测。例如，有学者总结了现阶段主流的生成式人工智能算法模型，包括代码生成功能的 Codex 模型、视频合成功能的 Phenaki 模型，以及控制智能机器人的 GATO 模型等。

可以说，生成式人工智能拥有广阔的应用前景和可能性，有关监管制度应着眼于现阶段生成式人工智能及 AIGC 所制造的现实风险，解决多元多样且现实存在的重点问题，包括生成式人工智能平台责任厘清和监管、AIGC 内容真实性核查等问题。此外，有关监管机构应建立生成式人工智能技术风险的动态研判机制，对生成式人工智能的风险进行实时监测，保障监管机制的动态调整。【本文系国家社科基金重大项目网络信息安全监管法治体系构建研究（21&ZD193）阶段性成果】

（本文刊登于《中国信息安全》杂志2023年第8期）

来源：中国信息安全