来源：云上锦天城，作者：肖海龙、张克江
上一篇从总体上概览了生成式人工智能的主要风险和监管体系，主要阐述了生成式人工智能企业的业务资质要求和对算法、模型的监管要求，本篇具体阐述有关数据/语料和生成内容安全方面的合规要求。
五、有关训练数据/语料的合规要求
生成式人工智能是靠海量的语料、数据“喂”出来的，数据是影响人工智能技术创新最核心的要素之一，训练数据集的规模和质量直接影响了生成式人工智能的学习能力和泛化能力。例如，文本到图像生成模型Stable Diffusion使用了非营利组织LAION收集的三个大型数据集进行训练，包括58.5亿个图像－文本对。自然语言处理模型GPT-3则是由从45TB原始数据中过滤的570GB数据训练的，包括网站抓取数据集（Common Crawl）、网页文本数据集（Web Text）、图书语料库和英语维基百科（Wikipedia），共设置了1,750亿个参数。[19]
由于训练数据集具有来源广泛、类型多样、开发复杂、主体多元的特点，因而训练数据集不是一个单一的权利客体，而是一种聚合型权益客体，涉及不同的权益形态。一般认为，这些权益主要包括以下几类：一是个人信息权益，主要体现为《个人信息保护法》第四章所规定的各项权利，如知情权、决定权、查阅复制权、更正权、删除权等。二是隐私权，主要体现为《民法典》第1032条所规定的私密信息、私密空间和私密活动在大数据时代的数据化载体。三是知识产权，主要表现为《著作权法》第10条所规定的各项权利，如发表权、署名权、复制权、修改权、保护作品完整权等。四是国家安全，主要体现为《数据安全法》和《国家安全法》有关“数据安全”和“国家安全”的规定。因此，训练数据集的治理需要考虑多方面的因素和不同的利益相关者。[20]
《暂行办法》第7条规定了训练数据处理活动的合规要求，包括：（1）使用具有合法来源的数据和基础模型；（2）涉及知识产权的，不得侵害他人依法享有的知识产权；（3）涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形；（4）采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性；（5）遵守《网络安全法》、《数据安全法》、《个人信息保护法》等法律、行政法规的其他有关规定和有关主管部门的相关监管要求。
《基本要求》定义了“训练语料”，即所有直接作为模型训练输入的数据，包括预训练、优化训练过程中的输入数据，并提出了语料安全的以下具体要求：
1. 训练数据/语料来源安全
就语料来源安全而言，《基本要求》要求采集特定来源语料前，应对该来源语料进行安全评估，采集后，应对所采集的该来源语料进行核验，语料内容中含违法不良信息超过5%的，不应采集或使用，我国网络安全相关法律和政策要求阻断的信息，不应作为语料。同时，应当搭配不同来源的语料，提高语料来源的多样性，并取得相关语料的授权文件或采集记录等，以确保语料来源可追溯。具体如下：
（1）语料来源管理方面：
（a）面向特定语料来源进行采集前，应对该来源语料进行安全评估，语料内容中含违法不良信息超过5%的，不应采集该来源语料；
（b）面向特定语料来源进行采集后，应对所采集的该来源语料进行核验，含违法不良信息情况超过5%的，不应使用该来源语料进行训练。
（2）不同来源语料搭配方面：
应提高语料来源的多样性，对每一种语言的语料，如中文、英文等，以及每一种类型的语料，如文本、图片、音频、视频等，均应有多个语料来源；如需使用境外语料，应合理搭配境内外来源语料。
（3）语料来源可追溯方面：
（a）使用开源语料时，应具有该语料来源的开源许可协议或相关授权文件；
（b）使用自采语料时，应具有采集记录，不应采集他人已明确不可采集的语料（自采语料包括自行生产的语料以及从互联网采集的语料。明确不可采集的语料，例如已通过robots协议或其他限制采集的技术手段明确表明不可采集的网页数据，或个人已拒绝授权采集的个人信息等。）；
（c）使用商业语料时：
—— 应有具备法律效力的交易合同、合作协议等；
—— 交易方或合作方不能提供语料来源、质量、安全等方面的承诺以及相关证明材料时，不应使用该语料；
—— 应对交易方或合作方所提供语料、承诺、材料进行审核。
（d）将使用者输入信息当作语料时，应具有使用者授权记录。
（4）按照我国网络安全相关法律法规及政策文件要求阻断的信息，不应作为语料。
值得强调的是，当服务提供者使用商业语料时，应当对交易方或合作方所提供的语料、承诺、材料进行合规审查，交易方或合作方不能提供语料来源、质量、安全等方面的承诺以及相关证明材料时，不应使用该语料。服务提供者将使用者自行输入的信息用作后续训练的语料时，由于用户可能会无意识地将隐私信息用于人机交互过程中，如个人姓名、性别、地址、人脸生物识别信息等，这些信息可能会被算法模型收集并成为后续训练的学习素材。这些隐私信息的泄露、滥用可能会给用户带来潜在的安全隐患，损害个人信息权。因此，应获得使用者/输入者的授权才能将其自行输入的信息用作后续训练的语料。
关于外购数据的知识产权风险责任，在全国首例认定数据交易买受人侵犯商业秘密的案例——重庆光某摩托车制造有限公司与广州三某摩托车有限公司侵犯商业秘密纠纷案中，重庆两江新区（自贸区）人民法院认为，数据交易买受人在接收数据时负有审慎注意义务，数据交易买受人明知或应当知道数据涉及他人的商业秘密仍予接收并使用的，应当与数据提供者承担共同侵权责任。
关于收集公开数据，2023年4月，著名媒体公司Reddit突然宣布将开始向过度使用其数据API的公司谷歌、OpenAI等收数据费，而此前该平台的内容可以被免费爬取用作大语言模型训练。Reddit还在其官网更新了各种开发工具和服务的使用条款，要求未经Reddit明确同意，不得将Reddit上的内容用于模型训练，不得将使用Reddit数据训练的模型用于商业用途。2024年2月22日， 谷歌与Reddit达成协议，获得授权将该平台上的内容用于训练谷歌的人工智能模型，合同价值约为每年6,000万美元。在国内，2023年6月13日，笔神作文发布“关于‘学而思’AI大模型侵权事件的声明”称，4月13日至17日，学而思通过“爬虫”技术非法访问、缓存笔神作文APP服务器数据多达258万次，严重侵犯了笔神作文APP的数据权益。
《上海数据交易所数据交易安全合规指引》对收集公开数据、自行生产数据、协议获取数据、收集个人信息等分别提出了以下不同的合规要求，以保障数据来源的合法性，可作为生成式人工智能服务者的参考：
（1）收集公开数据：使用自动化工具收集公开数据的，应当符合以下要求：（a）不得以不正当竞争为目的，违反诚实信用获取数据；（b）不得违法侵入涉密网站和计算机信息系统获取数据；（c）不得以非法获取内部访问、操作权限等方式，未经授权或超越授权范围获取数据；（d）不得干扰被访问网站的正常运营或者妨碍计算机信息系统正常运行；（e）不得以技术破解方式突破网站、计算机信息系统为保护数据而设置的技术保护措施；（f）未征得相关主体同意的，不得收集涉及他人知识产权、商业秘密或者非公开的个人信息的数据；及（g）法律法规规定的其他要求。
（2）自行生产数据：在生产经营活动中产生的或通过自身信息系统生产的数据，应确保数据的生产和处理行为合法，不存在侵犯第三方合法权益的情形。
（3）协议获取数据：通过采购、共享、授权许可等方式获取数据的，应当符合以下要求：（a）保存数据采购协议、共享或授权许可文件，并在其中约定数据交易供方应取得对相关数据的授权使用、加工、对外提供等相应权利；（b）确认数据来源方已取得特殊资质、许可、认证或备案（若需要）；（c）确认数据来源方已提供数据获取渠道合法、权利清晰无争议的承诺；及（d）法律法规及相关政策规定的其他要求。
（4）收集个人信息：在生产经营活动中收集个人数据的，应当符合以下要求：（a）基于个人同意处理个人信息的，仅收集与实现产品或服务的业务功能直接相关的个人信息，并且限于实现处理目的最短周期、最低频次，采取对个人权益影响最小的方式；（b）应当按照法律法规要求获得个人信息主体的同意或单独同意，并能够提供相关证明材料；（c）交易数据涉及个人信息处理的，应当事先进行个人信息保护影响评估或取得个人信息保护认证；（d）采取去标识化、匿名化等安全技术措施，防止未经授权的访问以及个人信息泄露、篡改和丢失；（e）法律法规规定的其他要求。
2. 语料内容安全
《暂行办法》第9条规定，提供者应当依法承担网络信息内容生产者责任。《基本要求》要求服务者采取关键词、分类模型、人工抽检等方式，过滤语料中的违法不良信息；语料用于训练前，应进行知识产权侵权风险识别，不使用存在知识产权侵权风险的语料进行训练，语料中包含文学、艺术、科学作品的，应重点识别语料以及生成内容中的著作权侵权问题；同时，应建立知识产权问题的投诉举报渠道；并在用户服务协议中告知用户使用生成内容的知识产权风险及关于知识产权问题识别的责任与义务；以及，使用包含个人信息的语料前，应取得相应个人的同意，使用包含人脸等生物特征或其他敏感个人信息的语料前，应取得对应个人单独同意或者符合法律、行政法规规定的其他情形等。
值得注意的是，《基本要求》在其附录中列出了31种“语料及生成内容的主要安全风险” ，并要求建立相应规模的、覆盖所列风险的关键词库、生成内容测试题库、拒答测试题库，且相关关键词库与测试题库应定期更新，以确保语料和生成内容合规、安全。以及，应建立覆盖全部所列风险的分类模型，用于语料内容过滤和生成内容安全评估。
关于知识产权问题的投诉举报机制。这个机制可供权利人向生成式人工智能服务提供者发出侵权通知，服务提供者在收到侵权通知并判定侵权成立后，应及时采取必要措施停止侵权，在生成阶段采取对提示词进行关键词过滤等措施阻止人工智能继续生成与权利人作品构成实质性相似的生成物。在上海新创华文化发展有限公司诉广州某网络科技公司侵犯奥特曼形象版权案[21]中，法院将被告经营的Tab网站未建立投诉举报机制，使得权利人难以通过投诉举报机制来保护其著作权，作为衡量被告应承担的赔偿责任的重要考虑因素。
3. 语料标注安全要求
《暂行办法》第8条规定，在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定符合《暂行办法》要求的清晰、具体、可操作的标注规则；开展数据标注质量评估，抽样核验标注内容的准确性；对标注人员进行必要培训，提升尊法守法意识，监督指导标注人员规范开展标注工作。
《基本要求》要求服务提供者自行对标注人员进行安全培训和考核；对标注人员进行职能分工，将数据标注和数据审核岗位职责分离；对功能性标注以及安全性标注分别制定标注规则，对功能性标注应对每一批标注语料进行人工抽检，对安全性标注每一条标注语料至少经由一名审核人员审核通过；以及，对安全性标注数据进行隔离存储等。
六. 模型安全和生成内容安全
采用深度学习、神经网络算法的人工智能模型通常需要大量的参数和层级，模型的内部结构非常复杂，这种复杂性使得理解每个单元对最终结果的具体影响变得非常困难，因此往往被视为黑箱。所谓算法黑箱，是指专业人士也不了解算法的全部情况。“生成式模型是复杂的深度学习模型，内容生成过程缺乏可解释性，研发和服务提供者都难以解释模型生成内容的具体逻辑”，使得“无论是监管者还是被监管者，都难以准确把握算法技术创新应用过程中可能出现的风险，以及导致风险的原因”[22]，因而难以保证模型生成内容的安全及准确性和可靠性。
《暂行办法》第4条第（五）项规定，提供和使用生成式人工智能服务应当采取有效措施，提高生成内容的准确性和可靠性。《基本要求》要求服务提供者基于第三方基础模型提供服务的，应使用已经主管部门备案的基础模型；要求在每次对话中应对使用者输入信息进行安全性检测，引导模型生成积极正向内容，建立常态化监测测评手段，及时处置监测测评中发现的问题，并通过针对性的指令微调、强化学习等方式优化模型，确保模型生成内容安全；以及，采取技术措施提高生成内容响应使用者输入意图的能力，提高生成内容格式框架的合理性以及有效内容的含量，减少其中的错误内容，提高生成内容对使用者的帮助作用，以提高模型生成内容的准确性、可靠性。
在国内首起对生成式人工智能服务提供者未尽到内容审核义务进行行政处罚的案例中，重庆市九龙坡区网信办认为，重庆初唱科技有限公司运营的“开山猴AI写作大师”网站违规生成法律法规禁止的信息，未尽到内容审核义务，违反了《网络安全法》、《生成式人工智能服务管理暂行办法》等相关法律法规，依据《网络安全法》第68条的规定，给予其行政警告处罚，并责令该公司限期全面整改，加强信息内容审核，健全信息内容安全管理相关制度，暂停网站信息更新及AI算法生成式写作功能15日。
七. 人工智能生成物标识义务
所谓标识，是指生成式人工智能服务提供者以让人可以感知的方式进行标识，从而使得公众能够认知到生成物是由人工智能生成。对人工智能生成物进行标识，对于防范人工智能被滥用导致的公共安全风险有着极其重要的意义。经标识后，有关权利人能够明确认识到生成物系由人工智能生成，进而采取更具针对性和有效性的保护性措施，更好地保护其权利。因此，标识义务不仅是对公众知情权的尊重，也是对权利人的一种保护。
对人工智能生成物的标识义务最早见于2019年11月18日 发布的《网络音视频信息服务管理规定》。该《规定》第11条规定，网络音视频信息服务提供者和使用者利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识。这一规定的目的是防止网络音视频信息服务提供者和使用者利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息。
2021年4月23日发布的《网络直播营销管理办法（试行）》第13条规定，对利用人工智能、数字视觉、虚拟现实、语音合成等技术展示的虚拟形象从事网络直播营销的，应当按照有关规定进行安全评估，并以显著方式予以标识。
《暂行办法》第12条规定，对于生成内容应当按照《深度合成管理规定》进行标识。《深度合成管理规定》规定了两种内容标识义务：（1）不影响用户使用的标识：深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识（第16条）；（2）显著标识：提供智能对话、智能写作、合成人声、仿声、人脸生成、人脸替换、沉浸式拟真场景等具有生成或者显著改变信息内容功能服务的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示信息内容的合成情况，避免公众混淆或者误认（第17条）。且该《规定》第18条规定，任何组织和个人不得采用技术手段删除、篡改、隐匿上述深度合成标识。
全国信息安全标准化技术委员会发布的《生成式人工智能服务内容标识方法》（TC260-PG-20233A）给出了生成式人工智能服务提供者对生成内容进行标识的方法和技术要求。该文件要求，由人工智能生成图片、视频时，应采用在画面中添加提示文字的方式进行标识，提示文字内容应至少包含“人工智能生成”或“AI 生成”等信息，并以添加隐式水印标识的方式提示服务提供者名称等。
八. 安全措施要求
《暂行办法》以《网络安全法》、《数据安全法》、《个人信息保护法》等法律、行政法规为上位法，服务者应采取一系列安全措施，保障网络安全、数据安全、保护个人信息，保护公众利益。
《基本要求》要求生成式人工智能服务者采取以下安全措施：
（1）从模型适用人群、场合、用途方面设置的安全措施：要求服务用于关键信息基础设施，以及如自动控制、医疗信息服务、心理咨询、金融信息服务等重要场合的，应具备与风险程度以及场景相适应的保护措施；服务适用于未成年人的，应采取允许监护人设定防未成年人沉迷措施、不向未成年人提供与其民事行为能力不符的付费服务等措施保护未成年人；服务不适用于未成年人的，应采取技术或管理措施防止未成年人使用。
（2）服务透明度：要求公开服务适用的人群、场合、用途，服务的局限性，所使用的模型、算法等方面的概要信息，以及所采集的个人信息及其在服务中的用途等信息。
（3）当收集使用者输入信息用于训练时：应采用“显著告知+允许使用者便捷关闭”的机制保护使用者利益。
（4）图片、视频等内容标识方面，应满足国家相关规定以及国家标准要求。[25]
（5）训练、推理所采用的计算系统方面：要求从系统所采用的芯片、软件、工具、算力等方面确保供应链安全，保障生成式人工智能系统运行在安全可信环境中。
（6）接受公众或使用者投诉举报方面：应提供接受公众或使用者投诉举报的途径及反馈方式，并设定接受公众或使用者投诉举报的处理规则以及处理时限。
（7）向使用者提供服务方面：应采取关键词、分类模型等方式对使用者输入信息进行检测，对多次输入违法不良信息或明显诱导生成违法不良信息的，应采取暂停提供服务等处置措施；对明显偏激以及明显诱导生成违法不良信息的问题，应拒绝回答；设置监看人员，并及时根据监看情况提高生成内容质量及安全。
（8）模型更新、升级方面：应制定在模型更新、升级时的安全管理策略；在模型重要更新、升级后，再次自行组织安全评估。
（9）服务稳定、持续方面：应隔离训练环境与推理环境，避免数据泄露和不当访问；对模型输入内容持续监测，防范恶意输入攻击；应定期对所使用的开发框架、代码等进行安全审计；建立数据、模型、框架、工具等的备份机制以及恢复策略等。
九. 安全评估义务
2018年11月15日发布的《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》已开始对具有舆论属性或社会动员能力的互联网信息服务和相关新技术新应用实施专门的安全管理，要求互联网信息服务提供者存在具有舆论属性或社会动员能力的信息服务上线，或者信息服务增设相关功能等情形的，应当依照规定自行开展安全评估。
2019年11月18日 发布的《网络音视频信息服务管理规定》第10条规定，网络音视频信息服务提供者基于深度学习、虚拟现实等新技术新应用上线具有媒体属性或者社会动员功能的音视频信息服务，或者调整增设相关功能的，应当按照国家有关规定开展安全评估。
2021年4月23日发布的《网络直播营销管理办法（试行）》第13条规定，对利用人工智能、数字视觉、虚拟现实、语音合成等技术展示的虚拟形象从事网络直播营销的，应当按照有关规定进行安全评估，并以显著方式予以标识。
2021年12月31日 发布的《算法推荐管理规定》第27条和2022年11月25日发布的《深度合成管理规定》第20条规定，具有舆论属性或者社会动员能力的算法推荐服务、深度合成服务提供者应当按照国家有关规定开展安全评估。《暂行办法》第19条也相应规定了“提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估”。
如本文第一篇“业务资质和算法模型监管篇”之“算法备案”一节所述，《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》是从信息传播渠道本身是否具有媒体属性，是否提供公众舆论表达渠道的角度来定义是否具有舆论属性或社会动员能力的，不问是否实际从事或进行了调动舆论、动员社会的活动，具备短视频、网络直播、信息分享、小程序等信息服务功能的生成式人工智能服务，均视为具有舆论属性或者社会动员能力，均应履行安全评估义务。
另外，《深度合成管理规定》第15条规定，生成或者编辑人脸、人声等生物识别信息，或者生成或者编辑可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息的，应当依法自行或者委托专业机构开展安全评估。生成式人工智能服务提供者生成图片、音频、视频的，可能难以排除生成人脸、人声，或者可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景的可能性，应当依法自行或者委托专业机构开展安全评估。
《基本要求》是《暂行办法》的支持性文件，提出了服务提供者需遵循的安全基本要求。服务提供者在按照有关要求履行备案手续时，应按照《基本要求》第9章的要求进行安全评估，安全评估应覆盖该文件第5章至第8章中所有条款，即覆盖有关语料安全、模型安全、安全措施、关键词库等其他要求的所有条款，每个条款均应形成单独的评估结果，结果为符合的，应具有充分的证明材料；并将评估结果以及相关证明、支撑材料写入评估报告：评估报告应符合履行备案手续时的相关要求。自行或者委托专业机构完成评估后，应登陆全国互联网安全管理服务平台（网址：https://beian.mps.gov.cn），按要求填写并提交材料，由公安机关网上进行评估。
根据重庆网信部门2024年7月22日通报，“南川区蓉城网络科技工作室”未经安全评估上线提供ChatGPT生成式人工智能信息服务，网信部门依法开展执法约谈，责令立即关停相关服务。
十. 伦理规范和伦理审查
在人工智能治理领域，以伦理规范、技术标准、监管指引、基准测试、可信认证等多种形式为内容的“软法”治理占据着重要的地位。与法律法规等“硬法”相比，“软法”中包含一系列人工智能研发与部署活动中应当遵循的价值准则和行为规范，例如，“谨慎对待可能具备欺骗人类、自我复制、自我改造能力的人工智能，并重点关注生成式人工智能可能被用于编写恶意软件、制造生物武器或化学武器等安全风险”，不仅有利于凝聚技术、产业、政策等各界共识，还可以在人工智能技术研发早期发挥重要的约束和指引作用。[24]
人工智能伦理是一套采用广泛接受的是非标准来指导人工智能技术开发和使用中的道德行为的价值观、原则和技术，以应对偏见、歧视、隐私侵犯、不透明性、个人权利剥夺、社会孤立和不可靠结果等风险，营造人工智能保障生态系统，提高公众信任度。《暂行办法》第4条规定了生成式人工智能服务应当遵循的伦理规范和伦理义务，要求提供和使用生成式人工智能服务应当尊重社会公德和伦理道德，在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视；不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为等。
伦理规范和要求贯穿《基本要求》和从训练数据/语料的来源、生成过程和生成内容，到投诉举报的全过程，例如，要求生成式人工智能服务者采取措施防范未成年人沉迷、保护未成年人身心健康；对生成物予以标识，保持生成式人工智能服务的透明度；提高语料来源的多样性，合理搭配不同来源的语料；采取关键词、语料标注、人工抽检等方式过滤语料中的不良信息等。
《科技伦理审查办法（试行）》规定利用个人信息数据的科技活动，应当进行科技伦理审查；从事人工智能科技活动的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理委员会，并将具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发活动，列入“需要开展伦理审查复核的科技活动清单”。因此，生成式人工智能企业应当设立科技伦理委员会，对生成式人工智能服务中涉及的利用个人信息数据活动进行伦理审查，对其中具有舆论社会动员能力和社会意识引导能力的算法模型等还需伦理复核。
《科技伦理审查办法（试行）》同时规定了对涉及数据和算法的科技活动进行伦理审查的重点内容和标准，包括数据的收集、存储、加工、使用等处理活动以及研究开发数据新技术等应符合国家数据安全和个人信息保护等有关规定，数据安全风险监测及应急处理方案得当；算法、模型和系统的设计、实现、应用等遵守公平、公正、透明、可靠、可控等原则，符合国家有关要求，伦理风险评估审核和应急处置方案合理，用户权益保护措施全面得当等。
十一. 数据合规、个人信息保护和网络信息安全义务
《暂行办法》以《网络安全法》、《数据安全法》、《个人信息保护法》为上位法，提供生成式人工智能服务应遵守上述法律关于数据合规、个人信息保护和网络信息安全的规定。
1. 数据合规
根据《数据安全法》第3条的规定，数据处理包括数据的收集、存储、使用、加工、传输、提供、公开等。生成式人工智能服务中训练数据/语料的获取、清洗、标注等涉及数据的收集、存储、加工，生成内容的过程涉及数据的使用、加工等，是典型的数据处理活动，应当遵守《数据安全法》关于开展数据处理活动应当遵守商业道德和社会伦理要求，履行数据安全保护义务，不得危害国家安全、公共利益，不得损害个人、组织的合法权益的规定。
（1）数据的收集和交易
根据《数据安全法》的规定，生成式人工智能服务提供者收集训练数据/语料时，应当采取合法、正当的方式，不得在法律、行政法规规定的目的和范围之外收集、使用数据，不得窃取或者以其他非法方式获取数据；通过交易方式获取数据的，应核实交易对方的身份，确保数据来源合法，并留存交易记录。提供生成式人工智能服务应遵循的训练数据/语料来源安全合规要求，详见本文“训练数据/语料的来源安全”一节。
（2）数据分类分级保护和备案管理
《数据安全法》明确规定“国家建立数据分类分级保护制度”，提出“根据数据在经济社会发展中的重要程度，以及一旦遭到篡改、损毁、泄露或者非法获取、非法使用，对国家安全、公共利益或者个人、组织合法权益造成的危害程度，对数据实行分类分级保护”。开展数据分类分级保护工作，首先需要对数据进行分类分级，识别涉及的重要数据和核心数据，然后建立相应的数据安全保护措施。
2024年3月21日发布的国家标准《数据分类分级规则》（GB/T 43697-2024）给出了数据分类分级的通用规则，用于指导各行业领域、各地区、各部门和数据处理者开展数据分类分级工作。在数据分类方面，《规则》按照行业领域将数据分为工业数据、电信数据、金融数据、能源数据、交通运输数据、自然资源数据、卫生健康数据、教育数据、科学数据等，然后按照不同的业务属性，例如，按照描述对象将数据分为用户数据、业务数据、经营管理数据、系统运维数据，按照业务流程、产业链环节将能源数据分为探勘、开采、生产、加工、销售、使用等数据，按照数据主体分为公共数据、组织数据、个人信息。在数据分级方面，《规则》根据数据在经济社会发展中的重要程度，以及一旦遭到泄露、篡改、损毁或者非法获取、非法使用、非法共享，对国家安全、经济运行、社会秩序、公共利益、组织权益、个人权益造成的危害程度，将数据从高到低分为核心数据、重要数据、一般数据三个级别。
生成式人工智能企业作为数据处理者，应在遵循国家和行业领域数据分类分级要求的基础上，开展本企业重要数据的识别与合规管理工作，实施数据分类、分级，对公共数据、个人信息等特殊类别数据进行识别和分类，确定核心数据、重要数据和一般数据的范围，形成数据分类分级清单、重要数据和核心数据目录，并按有关程序上报数据目录。如所属行业领域没有行业主管部门认可的数据分类分级标准规范，或存在行业领域规范未覆盖的数据类型的，则应自行按照《数据分类分级规则》对数据进行分类。
根据《工业和信息化领域数据安全管理办法（试行）》第12条的规定，工业和信息化领域数据处理者应当将本单位重要数据和核心数据目录向本地区行业监管部门备案，备案内容包括但不限于数据来源、类别、级别、规模、载体、处理目的和方式、使用范围、责任主体、对外共享、跨境传输、安全保护措施等基本情况，但不包括数据内容本身。
（3）数据安全
根据《数据安全法》第27、第29条、第30条的规定，生成式人工智能企业作为数据处理者应履行以下数据安全保护义务：
（a）建立健全全流程数据安全管理制度，组织开展数据安全教育培训，采取相应的技术措施和其他必要措施，保障数据安全。利用互联网等信息网络开展数据处理活动，应当在网络安全等级保护制度的基础上履行上述数据安全保护义务。重要数据的处理者应当明确数据安全负责人和管理机构，落实数据安全保护责任。
（b）加强风险监测，发现数据安全缺陷、漏洞等风险时，应当立即采取补救措施；发生数据安全事件时，应当立即采取处置措施，按照规定及时告知用户并向有关主管部门报告。
（c）重要数据的处理者应当按照规定对其数据处理活动定期开展风险评估，并向有关主管部门报送风险评估报告。风险评估报告应当包括处理的重要数据的种类、数量，开展数据处理活动的情况，面临的数据安全风险及其应对措施等。
（4）数据出境
在境外生成式人工智能服务提供者直接向境内公众提供服务，或者境内服务提供者通过API接口的方式接入境外的技术服务提供商向境内用户提供服务，或者向境内用户提供服务的服务器部署在境外，以及调用境外开源模型训练境内自有模型（“蒸馏”），或者调用境外算力在境外开展数据训练等情况下，可能发生数据出境的情形。其中，存在数据处理者向境外提供重要数据，或者自当年1月1日起累计向境外提供100万人以上个人信息（不含敏感个人信息）或者1万人以上敏感个人信息等情形的，将触发数据出境的相关监管，数据处理者应当按照相关规定识别、申报重要数据，按照《促进和规范数据跨境流动规定》、《数据出境安全评估办法》、《个人信息出境标准合同办法》等规定履行数据出境安全评估、订立个人信息出境标准合同、通过个人信息保护认证等出境合规义务。
2. 个人信息保护
《暂行办法》第9条规定，生成式人工智能服务涉及个人信息的，提供者应当依法承担个人信息处理者责任，履行个人信息保护义务。
生成式人工智能服务在模型训练过程中可能使用包含个人信息的数据集，在与用户进行文本、语音、图片等的交互时可能涉及个人信息的收集与处理。《深度合成管理规定》第14条第二款特别规定，深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者依法告知被编辑的个人，并取得其单独同意。
参考中国电子商会发布的《生成式人工智能数据应用合规指南》（T/CECC 027-2024），生成式人工智能服务中的个人信息保护一般应遵循以下要求：
（1）训练数据采集中的个人信息收集
(a) 在直接收集个人信息前，应依法向个人明确告知个人信息处理者的名称或者姓名和联系方式，个人信息的处理目的、处理方式，处理的个人信息种类、保存期限，个人行使法定权利的方式和程序等；
(b) 如将直接获取的个人信息用于模型训练等目的，应符合《个人信息处理中告知和同意的实施指南》（GB/T 42574-2023）第7~9 章的规定，告知并取得个人同意，或者具备其他合法性基础；
(c) 对于个人自行公开或者其他已经合法公开的个人信息，如个人未明确拒绝用于模型训练等目的，处理行为未显著违背个人公开目的且相关处理不会对个人权益造成重大影响的，可视为在合理范围内进行处理；
(d) 如需采集敏感个人信息用于模型训练的，应事前进行个人信息保护影响评估，在采取严格保护措施并取得个人单独同意的前提下方可使用；
(e) 如处理不满十四周岁未成年人个人信息，除上款内容外，还需取得未成年人父母或其他监护人的同意，并制定专门的个人信息处理规则；
(f) 间接获取的数据如包含个人信息的，应要求个人信息提供方说明个人信息来源，并确保就信息共享已履行法定的告知义务并取得个人单独同意，或者具备其他的合法性基础；
(g) 根据模型训练的特定目的，遵循个人信息处理的必要性原则，在限于实现处理目的的最小范围内收集和处理个人信息；
(h) 除非确有必要，否则用于模型训练的个人信息应进行去标识化处理后再进行使用。
但也有学者认为，采用告知同意规则来通知个人的模式消耗成本极高且容易被个人所忽视，所以在大数据时代被认为已经趋于瓦解且难以恢复，面对逐渐泛化的个人信息，人工智能将无法实现全面告知。[25]
（2）内容生成过程中的使用者信息保护
提供者对使用者的个人信息、输入信息和使用记录应依法履行如下保护义务：
（a） 根据必要性原则，仅收集与提供服务目的直接相关的个人信息；
（b）不得非法留存能够识别使用者身份的输入信息和使用记录；
（c）不得非法向他人提供使用者的输入信息和使用记录，除非获得使用者同意，或具有其他合法性基础；
（d）未进行明确告知并取得使用者同意的，提供者不得擅自将使用者的输入信息用于后续模型训练，除非具备其他合法性基础。
（3）数据删除
因个人撤回同意等原因导致用于模型训练的个人信息需进行删除的，提供者应从数据集中将个人信息删除或进行匿名化处理，不得再用于模型训练。已投入模型训练的相关信息如无法从模型中删除或删除成本过大的，可采用屏蔽结果等方式停止输出涉及相关信息的内容。提供者也可在数据采集时通过协议就是否需要删除模型内信息进行明确约定。
3. 网络信息安全义务和网络信息安全等级保护测评、备案
（1）网络信息安全义务
《暂行办法》第9条规定，生成式人工智能服务提供者应当履行网络信息安全义务。根据《网络安全法》的规定，适用于生成式人工智能企业的网络信息安全义务主要包括：
（a）对其收集的用户信息严格保密，并建立健全用户信息保护制度。
（b）收集、使用个人信息，应当遵循合法、正当、必要的原则，公开收集、使用规则，明示收集、使用信息的目的、方式和范围，并经被收集者同意。不得收集与其提供的服务无关的个人信息，不得违反法律法规的规定和双方的约定收集、使用个人信息，并应当依照法律法规的规定和与用户的约定，处理其保存的个人信息。
（c）不得泄露、篡改、毁损其收集的个人信息；未经被收集者同意，不得向他人提供个人信息。采取技术措施和其他必要措施，确保其收集的个人信息安全，防止信息泄露、毁损、丢失。在发生或者可能发生个人信息泄露、毁损、丢失的情况时，应当立即采取补救措施，及时告知用户并向有关主管部门报告。
（d）个人发现违反法律法规的规定或者双方的约定收集、使用其个人信息的，有权要求删除其个人信息；发现收集、存储的其个人信息有错误的，有权要求予以更正。
（e）任何个人和组织不得窃取或者以其他非法方式获取个人信息，不得非法出售或者非法向他人提供个人信息。
（2）网络安全等级保护备案和信息安全等级保护测评、备案
《网络安全法》第21条规定，国家实行网络安全等级保护制度。生成式人工智能企业应按照《网络安全等级保护实施指南》（GB/T 25058-2019）和《网络安全等级保护定级指南》（GB/T 22240-2020）的要求，确定其网络安全保护等级，并到公安机关办理备案手续；按照国家网络安全等级保护管理规范和技术标准，进行网络安全保护的规划设计；履行使用符合国家有关规定，满足安全保护等级需要的信息技术产品和网络安全产品等义务。
《信息安全等级保护管理办法》第14、15条规定，信息系统建设完成后，运营、使用单位应当选择有资质的测评机构，对信息系统安全等级状况开展等级测评，其中，第二级以上信息系统（指信息系统受到破坏后造成的损害，达到会对公民、法人和其他组织的合法权益产生严重损害但不损害国家安全以上等级），应到所在地设区的市级以上公安机关办理备案手续，涉密信息系统还应当向保密工作部门提出申请，由国家保密局授权的系统测评机构进行安全保密测评。
根据重庆网信部门2024年7月22日通报，“灵象智问AI”、“重庆哨兵拓展迷”等网站未经安全测评备案、违规提供生成式人工智能服务，网信部门依法对运营主体开展执法约谈，责令立即停止相关服务。
本篇阐述了有关数据/语料和生成内容安全方面的合规要求，下一篇具体讨论生成式人工智能企业的知识产权保护和与知识产权相关的风险。
（李心路律师对本文有贡献。）
注释
[19] 张涛，《生成式人工智能训练数据集的法律风险与包容审慎规制》，原载《比较法研究》2024年第4期，https://mp.weixin.qq.com/s/BJCwpHaK48g9_M2CLjQ65g
[20] 张涛，《生成式人工智能训练数据集的法律风险与包容审慎规制》，原载《比较法研究》2024年第4期，https://mp.weixin.qq.com/s/BJCwpHaK48g9_M2CLjQ65g
[21] (2024)粤0192民初113号。
[1] 转引自康骁：《行政法如何应对生成式人工智能——基于算法、训练数据和内容的考察》，原载《云南社会科学》2024年第4期，https://mp.weixin.qq.com/s/FKln_uGIrgFdGzPlWSs5uQ
[22] 目前尚无国家标准，全国信息安全标准化技术委员会发布的《生成式人工智能服务内容标识方法》（TC260-PG-20233A）为行业标准。
[23] 参见《全球人工智能治理的格局、特征与趋势洞察》，张欣、宋雨鑫，原文载 《数字法治》2024年第1期，https://mp.weixin.qq.com/s/Bo5Ww14nMrwhZnu9EXgj8g
[24] 《生成式人工智能中个人信息保护的全流程合规体系构建》，陈禹衡，原文载于《华东政法大学学报》2024年第2期，https://mp.weixin.qq.com/s/eFYUYtW1LD5VfzHXi9d8Ng
（来源：云上锦天城，作者：肖海龙、张克江）
