今年6月，一条“广东省五华县华阳镇一70多岁老人被殴打致昏迷，其孙子为此跳河自杀，打人者一审被判九年十个月”的短视频在互联网平台传播，引发大量网民关注、讨论。经公安网安部门开展调查发现，该视频的图文内容系移花接木、肆意编造的网络谣言。据造谣人员任某供述，这段长达几分钟、声色并茂的视频全是由AI合成的。目前，公安机关已依法对任某追究法律责任。
近日，浙江温州苍南公安成功打掉一个编传旧案谣言的MCN机构“网络水军”团伙。进一步侦查发现，相关账号和视频由某网络科技有限公司（实为以MCN模式运营的“网络水军”团伙）使用发布，该MCN“网络水军”团伙搜集全网敏感热点，随意设置虚假剧情，利用AI软件根据剧情自动生成多处关键情节虚假的文案，安排真人出镜解说，拼接网络中误导性素材后剪辑成所谓“原创”视频。该团伙明知上述视频充斥大量虚假、挑动群众情绪类信息，为博取流量、不法牟利，在多个平台公开发布，后造成虚假视频信息被大量浏览、传播，从而牟取非法流量返利。
中国人民大学刑法学博士、北京市京师律师事务所实习律师黄福涛告诉记者绯闻女孩第四季搜狐，编造虚假的险情、疫情、灾情、警情，在信息网络或者其他媒体上传播，或者明知是上述虚假信息绯闻女孩第四季搜狐，故意在信息网络或者其他媒体上传播，严重扰乱社会秩序的，处三年以下有期徒刑、拘役或者管制；造成严重后果的，处三年以上七年以下有期徒刑。如果行为人不仅制作、传播虚假信息，而且目的是骗取互联网平台上不特定多数人的财产，则涉嫌诈骗罪。
2023年8月15日起施行的《生成式人工智能服务管理暂行办法》规定，提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德。不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容。