中国媒体报道指出，近期部分用户利用AI工具和平台制作传播淫秽内容，引发社会关注和广泛讨论 [1]。央视公开调查显示，有人公开出售AI口令，声称只需一张图片或部分文字即可生成大尺度照片甚至视频 [1]。在短视频平台上，大量教学如何利用AI“造黄”的视频涌现，视频里还强调如何规避平台审核的技巧。视频发布者直言，“相信大家学AI就是为了搞黄” [1]。
在中国最大的二手交易平台闲鱼上，有卖家用暗语出售相关教程和AI口令，价格不到10元人民币，门槛低且隐秘 [1]。BBC中文检索发现，Bilibili平台上与ComfyUI相关的大尺度AI生成教程视频已有约20万播放量和6000多条评论，相关内容传播广泛 [1]。报道提到，涉及的AI服务商多达十几款，涵盖大型在线AI服务、本地部署工具及辅助平台 [1]。
部分从事内容审核和AI开发的业内人士指出，中国缺乏明确的内容分级制度，使得“涉黄”判定标准模糊不清。王女士表示，“和政治红线比起来，这个标准非常模糊”，易先生则称“内容生成和审核是两个分开部分”，蔡先生感叹，“你就是不知道为什么一些用户那么爱搞黄色” [1]。
追溯源头，类似利用AI换脸制作娱乐圈明星大尺度照片和熟人照片造假猖獗，相关事件早在2023年就已出现 [1]。截至报道发布，涉事平台豆包的母公司未回应相关置评请求 [1]。
相关监管和技术平台的下一步动作尚待观察。
