日前，保时捷女销冠被AI合成不雅视频一事登上微博热搜，引发广泛关注。

10月10日，两次成为年度销冠、今年拿下半年度销冠的青岛保时捷中心销售牟女士，通过社交媒体发文表示，最近网络上出现了大量利用AI技术恶意合成的虚假视频和不良视频，对她进行诽谤和侮辱，导致她的正常生活已受到严重影响。

10月12日，牟女士再度发声表示“网络不是法外之地”，并晒出青岛市公安局李沧分局行政处罚决定书。行政处罚决定书显示，一丁姓男子在群内转发牟某文照片图文并搭配不雅视频，对其侮辱，后被查获。根据《中华人民共和国治安管理处罚法》第四十二条第二项之规定，决定给予行政拘留五日的行政处罚。“相关案件已正式进入司法程序。”牟女士表示。

事实上，她不是第一个被AI造假的人，也不会是最后一个。

从几张照片、几秒音频，到一段以假乱真的视频，如今，生成式AI技术的发展让造假几乎不再需要任何专业门槛。AI换脸、声音克隆这些原本服务于影视制作、数字人等领域的前沿工具，正被推向色情、诈骗等黑灰色地带。

在这种情况下，真相该如何追上算法？

图源：抖音@青岛保时捷中心molly

几分钟，就能复制一个你

据牟女士所述，网络上流传的利用AI技术恶意合成的诽谤视频，已给其生活带来诸多困扰。她在社交媒体平台上晒出的聊天截图显示，有多人在咨询购车时，提到看过她的视频，并对其进行言语骚扰。

牟女士的遭遇背后，指向的是一个更广泛的问题——随着AI的快速发展与普及，深度伪造（Deepfake）技术的门槛正在不断降低，这也酝酿了更多的侵权行为乃至犯罪。

技术的门槛已降到多低？

以AI换脸为例，最高人民检察院（以下简称“最高检”）资料显示，随着技术普及，许多手机应用或在线工具都能一键生成换脸内容，技术使用门槛大幅降低。

市场上以AI换脸、合成视频为卖点的应用也不断涌现。在搜索引擎、社交媒体、电商等平台上，均能看到诸多此类App、小程序与网站的身影，AI换脸教程和攻略类内容也十分常见。

有人工智能从业者对中国新闻周刊表示，基础的AI换脸操作目前可以说几乎没有门槛，普通人也能通过开源模型，或是在软件、网站等上少量付费几元到几十元，就能生成几乎能以假乱真的图片和视频，10多秒的视频只需要几分钟即可。如果想要更精细的定制化服务，加价到几百元，也不难获得。

愈发易用化的深度伪造技术自然有其积极的一面。有出海短剧制作方就曾对中国新闻周刊表示，其已经与多个技术团队合作，应用AI换脸技术将亚洲脸替换成欧美脸等，以降低成本、提升效率。

但与此同时，其潜在风险亦不容忽视。

牟女士的遭遇并非孤例。据北京德恒律师事务所合伙人、律师吴昕栋介绍，2023年杭州互联网法院审理的国内首例AI换脸民事公益诉讼案中，在未取得被编辑人同意的情况下，犯罪分子虞某利用AI换脸软件，将从互联网等渠道收集到的百余人的人脸信息与部分淫秽视频中的人脸信息进行替换合成，制作生成虚假的换脸视频1200余部，在社交软件上进行传播；此外，他还为他人提供换脸视频定制服务，即根据客户提供的视频或照片制作换脸视频，在网络上销售AI换脸软件、提供换脸素材并传授使用教程，共非法获利6万余元。经审理后，法院认定其行为构成制作、传播淫秽物品牟利罪，判处有期徒刑7年3个月。

去年9月，北京大学国家发展研究院教授李玲发布声明表示，网上出现大量假冒其推销医药书籍和治疗手段的虚假视频，大多是人工智能AI合成，其已报警，并将积极采取法律行动追究策划、制造、恶意传播虚假视频者的法律责任。

“在案件办理中，我们发现此类技术被用于违法犯罪，并呈现出复杂化和多样化的特点，主要表现为侵犯人格权利、传播违法内容、冒用他人身份等。”最高检经济犯罪检察厅副厅长张建忠曾对《人民检察》总结，可能涉及的罪行包括通过伪造视频或身份实施诈骗、利用伪造视频散布虚假信息涉嫌诽谤、利用AI换脸技术制作及传播淫秽内容、制作虚假信息引发公众恐慌或扰乱社会秩序等。

换言之，利益驱动下，技术被更轻易地纳入黑灰产业链，成为“帮凶”。

风险如何防范

深度伪造技术浪潮下，受害者的维权并不容易。

北京云亭律师事务所律师王琼对中国新闻周刊表示，维权障碍首先在于AI生成内容可通过多平台快速裂变传播，且制作者常使用匿名账号，追责链条长；其次，技术溯源困难，需要通过视频生成时间、技术水印等电子数据鉴定证明侵权事实；此外，可能存在部分平台以技术中立为由推诿，未及时提供后台数据。

吴昕栋补充指出，取证是受害者维权的“死结”：一方面，深度伪造视频的面部匹配度可达90%以上，但全国具备资质的鉴定机构数量非常少，排队及鉴定周期较长；另一方面，AI虚假内容常通过境外服务器、加密群聊传播，存在跨境取证的制度障碍，跨境取证周期长，导致原始文件极易灭失，很难固定关键证据。

“现行法律框架能对AI虚假视频的受害人提供基础保护，但面对AI技术特性，短板比较明显，比如对深度伪造的认定、跨平台责任划分，存在法律方面的空白。同时，对跨境的暗网黑产，仍缺乏有效和常态化跨境执法机制。”吴昕栋表示。

这也就导致了受害者一边承受着无法完全自证清白、被污名化之下的极大心理压力，另一边又要面对较高的维权成本。

从监管层面上看，我国为确保AI平衡发展和安全应用出台的一系列法律法规，具有扩大此类事件前置防范窗口的作用。

其中，近年来《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》（以下简称《标识办法》）的相继实施，对提供AI生成服务需向网信部门备案、高风险模型需通过算法安全评估、AI生成内容需强制添加显式和隐式标识等作出规范要求，进一步完善了对AI的监管框架，为防止AI被滥用提供了依据。

不过具体到落地执行层面，挑战依旧突出。王琼表示，相关法律法规在执行中仍面临三大难点：其一，技术监管不足，现有“水印追溯”“算法指纹”等区分AI生成内容与真人内容的技术尚不成熟，平台依赖人工审核成本高；其二，责任边界模糊，技术提供方、内容制作者、平台方之间的连带责任认定仍存争议；其三，地方执法能力不均，地方公安机关对AI技术证据的认定能力参差不齐。

就此王琼建议，从制度完善的角度看，应进一步细化责任划分，明确平台的“算法审核义务”，如要求其强制部署内容过滤系统；对技术提供方设立“知情免责”门槛，如必须签订用途合规协议并监控用途。

同时，在取证与救济层面，应推动AI生成内容可追溯技术应用，如采用区块链存证，并在“电子数据取证规范”中单列章节，明确AI生成内容的证据效力；针对受害者维权的滞后性，可建立“一键删除”投诉通道，要求平台在48小时内响应，并探索“行为禁令”机制，在诉讼前即强制下架侵权内容，减少二次传播风险。

吴昕栋则指出，未来AI生成内容监管的关键在于全链条标识溯源体系的真正落地。他认为，当前虽已有《标识办法》和配套强制性国家标准，但中小平台可能出于成本压力考虑，规避合规，致隐式标识技术不统一导致溯源断裂。

“需建立国家级监测平台，强制嵌入统一数字水印，对恶意篡改标识行为处以高额罚款，避免‘象征性处罚’难以形成震慑。”他建议道。

归根结底，想要在保护创新的同时防范风险，保障受害者权益，遏制技术在黑灰产业链蔓延，只有依靠制度、技术和司法的协调推进才能得以实现。

而这还需要时间。