对于滥用生成式人工智能技术的担忧在世界范围内都存在。不仅因为其超越一般技术的“创造能力”和“破坏性”，更因为人们发现，生成式人工智能技术发展的速度极快。目前，世界各国对其风险的预判与防范均处于探索阶段，有赖于法律体系的进一步完善。

警惕滥用人工智能技术

模仿一个人的声音乃至外貌，对AI来说并不是新鲜事。此前，“AI孙燕姿”就曾在B站等网络平台走红，视频上传者通过使用AI音色替换技术，生成了高度还原孙燕姿音色的翻唱歌曲。近期也有媒体报道了一款网络上的付费AI换脸软件，其套餐价格从499元到2888元不等，肉眼来看，换脸之后的“数字人”口型、表情、微小的动作几乎毫无破绽。

生成式人工智能的大量出现很大程度上得益于深度合成和机器学习的快速发展。而AI诈骗者正是通过这些先进的技术，训练出能够模拟人类语言和神态的AI。

苏州大学竞争政策与反垄断研究中心研究员方翔指出，近期的AI诈骗案件主要是人工智能技术在图像领域的应用，这种模式可以将不同人脸图像中的面部特征相互进行替换。“拟声”则是借助深度学习模型，根据已有的语音样本(如通话录音、网络视频等)生成与其近似的声音，进而做到与人交谈。

前段时间，中国互联网协会发文提醒，伴随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频，进行诈骗、诽谤的违法行为屡见不鲜。面对利用AI技术的新型骗局，广大公众需提高警惕，加强防范。业内人士普遍认为，“AI换脸”技术的滥用给人们敲响了警钟，其复杂性、隐蔽性也给科技识别及运用提出了更高的要求。

“对于生成式人工智能，正当适度使用，可以倍增工作效率，有力推动创意产业发展，促进消费者福祉增长。但同时，虚假使用可引发谣言泛滥、侵害权利、压榨利益，而过度使用可引发践踏人性、减少就业、贫富悬殊，而恶意滥用甚至成为歪曲真相、撕裂社会、政策干扰、祸乱宇内的罪恶之源。”中国互联网协会法工委副秘书长胡钢认为，要坚持依法崇德治理，使全社会形成法网大于互联网、国法高于算法、人工智能不能成为“人工制人”的共识。

探索构建人工智能法律体系

“我国针对人工智能及数据安全、个人信息保护的立法虽然起步较晚，但日臻成熟。”方翔指出，2017年7月，国务院印发《新一代人工智能发展规划》，其作为我国AI发展的纲领性文件，提出了面向2030年我国新一代人工智能发展的指导思想、战略目标、重点任务和保障措施，其中特别提到“到2025年初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”。

2022年12月，国家网信办、工信部、公安部联合发布《互联网信息服务深度合成管理规定》，强调不得利用深度合成服务从事法律、行政法规禁止的活动，要求深度合成服务提供者对使用其服务生成或编辑的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能服务的，可能导致公众混淆或者误认的，应当进行显著标识。

2023年4月，国家网信办起草《生成式人工智能服务管理办法（征求意见稿）》并向社会公开征求意见，提出AI内容必须真实准确，禁止非法获取、披露、利用个人信息和隐私、商业秘密。

“总的来看，构建完善的人工智能法律体系，我国目前仍在探索阶段。”方翔说。

中国信息通信研究院云计算与大数据研究所所长何宝宏则指出，2022年12月发布的《互联网信息服务深度合成管理规定》明确针对在中国境内应用深度合成技术提供的互联网信息服务进行规制，其中，深度合成技术是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术。“在上述法律法规的具体落实过程中，存在两方面的挑战。”

“防范深度合成技术应用生成错误价值导向、虚假信息的能力需要进一步提升。《互联网信息服务深度合成管理规定》要求深度合成服务提供者对输入数据和合成结果进行审核、建立健全识别违法和不良信息的特征库、依法处置违法和不良信息的生成合成信息内容。但是，对于深度合成服务提供者如何落实内容管理需要进一步细化，提供者需要不断提升技管结合的能力；对于内容管理落实的具体效果，也有待进行持续性的跟踪检验。”何宝宏指出，对深度合成信息内容增加标识的具体规范也需要进一步细化，文件中明确深度合成服务提供者提供深度合成服务，可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识。“但对于如何增加显著标识以及增加标识的具体方式需要尽快出台细化的要求规范。”

SourcePh" style="display:none">