

当AI学会说谎
我们该如何守护真实的信息边界?

AI造谣、AI诈骗:别让技术沦为犯罪帮凶


网络安全与日常生活紧密相连
从智能助手
精准医疗到自动驾驶
AI的进步让社会运转更高效
生活更便捷
但技术往往利弊共生
AI 快速发展也暗藏风险
AI 造谣 AI 诈骗
正成为亟待应对的严峻挑战
我们在拥抱 AI 便利的同时
必须高度警惕这些潜在危害

01
AI造谣
”


今年3月初,一则关于“华山医院前院长”因病客死他乡的消息在互联网广泛传播,也引起众多网友关注。然而经上海警方核查却发现,华山医院压根就没有名为“张明远”的前院长,也没有同名员工。经上海公安网安部门迅速调查,最终成功侦破这起利用AI造谣案,将犯罪嫌疑人王某某、郭某某、石某某抓获归案。而令人吃惊的是,犯罪嫌疑人在发布该假消息前,甚至都不知道有华山医院这家医院,更不知道所谓的“张明远”这个人。
经查实,王某某、郭某某、石某某等3人,通过控制500余个自媒体账号,设置社会热点、明星绯闻、爆款推荐等关键词策略,利用AI工具自动生成并发布不实帖文30余万条,造成恶劣社会影响。
近年来,随着AI技术的快速发展,尤其是自然语言处理和深度伪造技术的成熟,AI造谣呈现出更隐蔽、难辨别的特点,利用ai工具合成技术编造谣言,甚至生成逼近真实的图片、音视频,颠覆了“有图就有真相”的常规认知,让人难辨真假。
AI造谣的主要形式

01
生成逼真的假新闻、伪造的社交媒体帖子或恶意评论。

02
通过Deepfake技术合成名人、政客的虚假影像或语音。

03
结合社交机器人和AI,在社交媒体上大规模扩散谣言,制造虚假舆论。

辨别AI造谣
伪造热点事件、捏造名人言论、炮制伪科普、嫁接虚假证据,都在引你“入坑”……当造谣已经用上AI工具,教你怎么来辨别!

保持怀疑态度
对于任何看起来过于完美或者与常识相悖的信息,都应该持有一份谨慎的态度。不要轻易相信未经核实的消息来源。

查证信息真伪
当遇到疑似使用AI技术修改过的内容时,可以通过搜索引擎查找原始资料进行对比验证。同时也可以利用一些专门用来检测图像编辑痕迹的工具来辅助判断。

增强个人隐私保护意识
防止个人信息泄露也是抵御AI谣言的重要一环。因为很多时候,诈骗者正是利用了受害者的私人数据来进行精准攻击。定期更换强密码、谨慎分享位置信息等措施都有助于降低被恶意利用的风险。

关注官方渠道
权威机构发布的信息通常更为可靠。因此,在接收到不确定的消息后,优先参考政府机关、知名媒体等正规途径发布的声明或报道。

积极参与网络环境净化
如果您发现自己成为了某条虚假消息的传播者,请立即停止转发并向相关平台举报该内容。每个人的小小努力汇聚起来就能形成强大的正能量,共同维护健康的网络空间。

02
AI诈骗
”


2024年8月,市民刘先生报案称其在2个月前通过一则短视频结交了网友“焦女士”,接触后感觉十分投缘。不久,“焦女士”称在外出游玩时为他请了一串手串,刘先生深受感动,两人迅速发展为恋人关系。随后,“焦女士”又称刚盘下一家服装店,希望刘先生能为她预订花篮支持开业,刘先生未多想就转账给了对方推荐的“花店老板”。接下来的一个月内,“焦女士”故伎重施,以家属生病、进货需要资金等理由,陆续向刘先生索要了近20万元。接报后,上海警方抽丝剥茧,逐步明确了一个以杨某为首的交友诈骗团伙。随着调查深入,民警发现该团伙组织严密且有明确分工,如在短视频平台上架视频的引流人员,与潜在被害人聊天的业务员,以及伪造相关聊天内容的“修图”人员,采取“流水化”诈骗作业。
“AI诈骗” 成功率极高,因为骗子利用的是人类最原始的情感:对亲友的信任和对权威的畏惧。传统电信诈骗靠“话术”,而AI诈骗靠的是“技术”。它不再仅仅是“猜猜我是谁”,而是让你亲眼看到、亲耳听到“你认识的人”,欺骗性呈指数级上升。


AI诈骗常见套路
1

声音合成
骗子通过骚扰电话录音等来提取某人声音,获取素材后进行声音合成,从而可以用伪造的声音骗过对方。
2

AI换脸
骗子首先分析公众发布在网上的各类信息,根据所要实施的骗术,通过AI技术筛选目标人群。在视频通话中利用AI换脸,骗取信任,从而实施诈骗。
3

转发语音
骗子在盗取社交账号后,便向其好友“借钱”,为取得对方的信任,他们会转发之前的语音,进而骗取钱款。
4

AI程序筛选受害人
骗子利用AI来分析公众发布在网上的各类信息,根据所要实施的骗术对人群进行筛选,在短时间内便可生产出定制化的诈骗脚本,从而实施精准诈骗。

AI技术能让违法犯罪分子轻松“换脸变声”,请注意“眼见”未必为实,教你如何辨别AI诈骗。

动作验证法
当视频中对方(尤其是涉及转账、借钱等敏感要求时)显得有点“怪”,别急着答应。请对方做一个连贯的转头动作,或者用手掌完全遮住脸再快速移开。目前的AI技术在模拟这些复杂的面部遮挡和光影变化时,容易出现卡顿、模糊或扭曲。

声音细节辨真伪
注意听语音细节。AI生成的语音有时会缺乏自然的呼吸停顿、情感起伏,或者带有轻微的机械感、背景杂音异常。如果对方声音听起来“不像平常”,务必提高警惕。

多渠道核实身份
这是最核心的一招!无论视频、语音多么逼真,涉及金钱交易或敏感信息时,务必通过其它可靠途径二次确认。比如,挂断后直接拨打对方常用且你熟悉的电话号码(不要回拨可疑来电号码),或者通过你们共同认识的第三人进行侧面核实。
核心口诀
“视频语音莫轻信,动作验证多核实!”——对可疑的视听信息保持警惕,坚持多渠道核实身份。


网警提醒
面对纷繁复杂的网络信息
须持续提升辨别意识
涉及金钱往来的各类交易
应始终保持高度警惕
不向陌生账户转账
不被 “高收益”“急用钱” 等说辞迷惑
守好信息安全与财产安全
共同防范网络风险
营造一个真实可信的信息环境

END
素材 | 上海网警