5分钟编出“校园霸凌” AI视频误导防汛救灾
IC供图
想象一下,一条看似权威的视频,可能只需短短5分钟就能用AI工具凭空捏造!正值防汛关键期,福州永泰网民王某某为博取流量,利用AI剪辑技术散布汛情谣言,严重干扰救灾工作。更有未婚未育者编造“女儿被抱走”的寻人启事,无中生有的文字、移花接木的视频、伪造的图片……AI造谣乱象正以前所未有的速度蔓延。
8月5日,南都N视频记者实测发现,网络上充斥着免费“AI写作神器”和“视频生成器”。只需输入简单指令,涉及汛情、火灾等敏感话题的虚假文案瞬间生成,甚至一张普通景区照片经AI处理,立刻变成“桥梁断裂”事故视频,造假效率惊人。
应对这一挑战,必须技术、教育等多轨并进。暨南大学夏志华教授指出,唯有技术对抗、法规约束、平台治理与公众教育多管齐下,才能在算法洪流中守住真实底线。
实验
高中生5分钟生成虚假通报
当班级群里突然弹出一则附有“权威通报”的“上海某中学霸凌”消息,你能一眼识破这是AI编造的谎言吗?造谣需要多久?上海海事大学附属北蔡高级中学的学生用实验给出答案:仅5分47秒!学生们利用AI生成一份细节完备的“霸凌”通报,时间地点、涉事姓名、伤情描述乃至法律条款一应俱全。
实验敲响警钟:AI工具因快捷、低成本,正被造谣者视为“蹭热度”利器,大幅加速谣言生产。现实中,类似案例已层出不穷。
8月5日,公安部网安局通报,福建福州永泰网民王某某为吸睛引流,通过AI工具剪辑视频散布汛情谣言,扰乱公共秩序,误导防汛救灾,最终被行政处罚。
更甚者,有人借助AI编造寻人启事、政府通报甚至虚假警情。浙江嘉兴南湖一男子为博关注,用AI大模型生成“女儿‘王喵喵’被抱走”的寻人启事,警方核查发现其未婚未育,该男子已被行拘。云南赵某某为吸粉,使用AI制作多起交通事故伤亡视频,标注“大理州”引发恐慌,经核实属虚假警情,赵某某被处罚。
南都记者梳理发现,AI在谣言案中现身频率越来越高,形式从图文到视频,应有尽有。背后驱动力?利益!
除个人造谣外,AI造谣已形成灰色产业链。2024年,山东枣庄某传媒公司为吸粉引流,购买大量实名自媒体账号,利用AI工具批量编造谣言,累计发布视频、图文300余万条,警方抓获87名嫌疑人,查获近10万个违规账号。
开源模型爆发、云端服务便捷、操作界面极简……暨南大学夏志华教授表示,AI“技术大众化”势不可挡。“对普通用户而言,获取AI工具并生成表面逼真的虚假信息,门槛已非常低。”
调查
炮制虚假汛情视频难度低
AI工具是否易得?功能如何?南都记者实测揭秘。
搜索关键词,记者发现大量“AI写作神器”“视频生成器”“换脸”小程序和网站,功能多样,可满足社交平台各类文案需求,甚至实现图文转视频。
记者随机进入一AI小程序,输入“汛情”“火灾”“儿童拐卖”主题指令,瞬间得到三段扩写至百字的不同故事文案。要求生成“正式”警情通报时,AI模拟官方口吻,包含具体时间、地点、人数等细节。
另一小程序中,记者指令生成“造谣”主题警情通报,工具迅速产出百字内容。
视频制作更复杂,但门槛不高。记者在一文字生成视频网站输入“汛情”指令,得到一段拼接新闻画面的视频,虽粗糙但足以误导。另一AI小程序以简单文案生成虚构汛情视频,画面中车辆浸泡水中,场景逼真。该工具还支持“图生视频”,记者导入景区吊桥图片,通过指令即生成吊桥断裂、人员落水的虚假画面。
以上操作甚至免费,部分工具仅需观看广告获取积分即可使用。
部分AI软件在生成“警情通报”图片时会拒绝,提示“描述不符合规则”或强调警徽使用需合法,避免违规。
应对
广东团队防御“深度伪造”
面对海量AI制品,普通人如何识破?
暨南大学夏志华教授支招:文本制品留意逻辑断层或情感空洞,核查事实错误;图片制品关注边缘肢体畸形、光影矛盾、纹理重复;音频制品注意机械语调、缺失呼吸声,警惕“家人出事急需汇款”话术;视频制品聚焦口型声音不同步、眨眼异常、物理规律错乱(如“人物融墙”)。
“技术只是辅助,动态防御思维才是关键。”夏志华建议公众交叉验证信息源,善用辟谣平台,并对煽动性内容保持警惕。
但他补充,肉眼难辨所有AI虚假制品。应对系统性风险,需构建“个人-平台-技术-监管”四维共治体系:个人提升媒介素养,主动核验信息;平台部署检测系统、落实生成内容标识、健全举报机制;技术社区研发高泛化鉴伪模型;监管部门完善立法,严打跨境造假。
夏志华特别指出,2025年3月出台的《人工智能生成合成内容标识办法》要求合法模型对生成内容添加水印,为平台责任提供法规支撑。
目前,其团队正破解深度伪造检测的泛化性瓶颈。“现有算法对已知伪造数据识别准确率超95%,但难应对未知技术迭代。我们通过挖掘跨模型共性异常特征提升泛化能力。”
泛化能力指模型从“已知”推广到“未知”的本领。基于此,团队研发视觉深度伪造检测、溯源与防御系统,推动检测范式向“共性特征驱动”转变,未来将推进轻量化部署与对抗防御,完善治理技术体系。
夏志华警示,风险正加速升级:“深度伪造与社会工程学结合的自动化攻击最需关注,它们高度定制、大规模传播,可能制造恐慌或实施诈骗。”
“这是一场‘技术攻防战’叠加‘认知保卫战’。”他强调,多管齐下才能在算法洪流中守护真实。
如何“识伪”?专家教你这几招
识别AI文本制品:留意逻辑断层或情感空洞,核查事实错误;
识别AI图片制品:关注边缘肢体畸形、光影矛盾、纹理重复;
识别AI音频制品:注意机械语调、缺失呼吸声,警惕紧急汇款话术;
识别AI视频制品:聚焦口型声音不同步、眨眼异常、物理规律错乱。
如何预防
调查:全国45.7%的青少年无法识别AI谣言
在对抗AI谣言的战场上,青少年正成为先锋。
当上海海事大学附属北蔡高级中学学生程洋用5分47秒生成逼真“校园霸凌通报”时,实验背后是残酷现实——《第5次全国未成年人互联网使用情况调查报告》显示,全国45.7%的青少年无法识别AI谣言,超半数(55.9%)未成年人通过短视频获取新闻。
2025年暑期,第六届长三角青少年媒介素养活动以“AI不设限,少年敢破界”为主题,聚焦信息安全。活动组织方、长三角青少年文化创新研究中心主任刘俊彦指出,未分级监管的谣言与诈骗信息肆意流动,青少年亟需提升内容鉴别与创作能力。
目前,长三角已形成以上海市实验学校、上海科技大学附属学校等为代表的媒介素养联盟种子校,通过新闻争霸赛、思政资源包、融媒体中心等项目,全面提升学生媒介素养。
更大变革在酝酿。刘俊彦透露,2025年新学年将启动跨省媒介素养联动计划,覆盖媒介创作、AIGC伦理、社会调查等领域。
“我们期待构建全国性媒介素养教育体系,包括符合联合国教科文组织AI能力框架的伦理课程、家庭教育指南,并探索权威信源库或区域验证工具。”刘俊彦说。
统筹:向雪妮 韦娟明
主笔:南都记者 周敏萱
采写:南都记者 周敏萱 敖银雪
相关问答
(2008•闵行区二模)某电视台连续播放5个广告,其中3个不同的...
[最佳回答]由题意知本题是等可能事件的概率,所有事件数是A55=120满足条件的首先从两个奥运广告中选一个放在最后位置,有C21=2种结果,两个奥运广告不能连放,第...






