/**/
沟通咨询
提交成功

GeekPwn2019 | AI安全威胁无处不在,RealAI联合清华夺冠

2019.10.25
公司动态

GeekPwn2019 现场盛况

 

10月24日,GeekPwn2019国际安全极客大赛在上海举办。本次大赛以“Geek Me 5”为主题,推出了“CAAD 语音对抗样本挑战赛”、“CAAD CTF 图像对抗样本挑战赛”、“隐私安全之反偷拍挑战赛”等命题专项赛,全面覆盖机器学习、云安全、隐私安全、机器人等不同领域。

 

RealAI与清华大学联合组成的TSAIL战队

 

值得一提的是,RealAI与清华大学联合组成的TSAIL战队获得“CAAD CTF 图像对抗样本挑战赛”以及“CAAD 隐身挑战赛”两项比赛的冠军。

 

当然,GeekPwn除了集结全球各地的白帽黑客、少年极客进行“技术切磋”,更旨在通过预演安全风险,探索产业智能与消费智能潜在的安全问题,提升大众和厂商的安全意识,助力产业健康成长。而从挑战赛的结果来看,安全威胁真的无处不在。

 

“黄健翔”、“伊万卡”,AI傻傻认不清

 

 

“ CAAD CTF 图像对抗样本挑战赛”于GeekPwn2018正式发起,比赛中需要选手通过产生对抗样本欺骗 AI 图像识别系统,让原本具备识别能力的 AI 出现非常“弱智的错误”。比如在GeekPwn2018 上海现场的比赛上,选手通过对抗样本攻击让主持人蒋昌建的照片被识别为施瓦辛格,攻破亚马逊名人识别系统。

 

而2019CAAD CTF的挑战难度升级 ,分设的“非定向识别”、“定向识别”与“人脸识别攻击”三个项目下都有三个不同的模型需要攻破。

 

 

TSAIL战队首先在前两关“非定向识别”、“定向识别”取得高分,最后在第三关“人脸识别攻击”中用图片成功欺骗图像分类器,让AI将主持人黄健翔识别成了“美国第一女儿”伊万卡·特朗普,成为现场唯一成功欺骗Clarifai人脸识别系统的团队。

 

 

这一图像对抗样本的攻击实现尤其是“人脸识别攻击”对于当前逐渐普及的“刷脸”应用来说无疑是个巨大的挑战。手机人脸解锁、刷脸支付、酒店刷脸入住、刷脸收取快递...人脸识别技术已经深入到我们生活的方方面面,但它们的安保机制却如此脆弱,一张稍加处理过的图像就能轻易攻破。

 

 

设想一下,未来你的身份或许通过一副“眼镜”就能被轻易盗取,手机信息、酒店信息,甚至是银行卡信息也随之暴露......个人隐私安全、财产安全将受到前所未有的威胁。所以,一方面公众需提高AI安全意识,另一方面AI算法的安全性、可靠性也有待重新评估。

 

利用一张A4纸,在AI镜头下成功“隐身”

 

 

“CAAD 隐身挑战赛”于今年大赛正式发起,比赛规则是,选手需要在现场的 A4 纸上打印出图案,裁成任意大小的矩形,最终实现躲过目标检测系统的识别。

 

比赛现场,包括TSAIL战队在内的三支战队分别打印了多张“图像对抗样本”,让现场观众将样本举在胸前,放在镜头前成功躲过目标检测系统的识别,让系统感知不到有人存在实现“隐身”。三支战队都在一米处实现了隐身,但TSAIL 战队使用的图像尺寸最小(14cm*14cm),成功拿下该项目的第一名。

 

 

值得重视的是,该项目下全部攻破的是业界流行的YOLOv3系统,这也意味着,目前市面上的目标检测系统存在被攻破的可能。

 

目前目标检测技术是大规模商业落地的AI技术之一,已经应用到公共场所动态监控、安防布控以及自动驾驶汽车的感知系统等多个商业场景中,“隐身”攻击的实现,除了会影响人身安全甚至还将威胁到社会安全乃至国家安全。

 

当监控系统失去监管效力,警方过度信任AI监控导致罪犯轻松利用“隐身”技术逃脱;自动驾驶汽车失控,被不法分子安装在路边的某个“图案”误导而引发车祸......

 

的确,《哈利波特》中的“隐身斗篷”魔力无边,但当这件“斗篷”真实出现在生活中,却有可能滋生犯罪、被不法分子拿去制造危机、成为恐怖分子手中的武器。当然,我们并非完全否定“隐身”技术,但如何使用它、防御它需要相关机构以及AI技术厂商尽快行动起来。

 

完美的未来必然是安全的未来

 

GeekPwn大赛发起创办人王琦发表致辞

 

一项新技术的出现往往具有两面性,实现突破的同时可能伴随着“暗流涌动”,但正如GeekPwn大赛发起创办人王琦在致辞中所说的:努力消灭不美好,完美的未来必然是安全的未来。

 

凭借在AI安全领域多年来的积累,RealAI自成立之初就致力于解决AI技术发展过程中的各种“不美好”。通过不断尝试攻击,RealAI希望在安全危机尚未发生之前,找到对抗这些攻击的方法,将安全隐患扼杀在摇篮里。

 

所以,今年5月,RealAI正式发布了与清华大学AI研究院联合开发的RealSafe人工智能安全平台。RealSafe平台融合黑盒、白盒多个场景,能够提供AI算法漏洞检测与漏洞修复,以及全面、细致的算法评测与比较,同时可以应用至金融领域的身份验证、安防领域的监控识别等具体场景,保障AI应用的安全性。

 

人工智能作为前沿科技正逐渐被普及,但有关AI安全风险的新闻也不断被曝光。作为国内顶尖的AI安全研究团队,RealAI将持续深耕漏洞研究,不断输出自身的安全能力,为AI安全新思维的升级和新趋势的探索贡献力量。