GeekPwn2019 | AI安全威胁无处不在，RealAI联合清华夺冠

10月24日，GeekPwn2019国际安全极客大赛在上海举办。本次大赛以“Geek Me 5”为主题，推出了“CAAD 语音对抗样本挑战赛”、“CAAD CTF 图像对抗样本挑战赛”、“隐私安全之反偷拍挑战赛”等命题专项赛，全面覆盖机器学习、云安全、隐私安全、机器人等不同领域。

RealAI与清华大学联合组成的TSAIL战队

值得一提的是，RealAI与清华大学联合组成的TSAIL战队获得“CAAD CTF 图像对抗样本挑战赛”以及“CAAD 隐身挑战赛”两项比赛的冠军。

当然，GeekPwn除了集结全球各地的白帽黑客、少年极客进行“技术切磋”，更旨在通过预演安全风险，探索产业智能与消费智能潜在的安全问题，提升大众和厂商的安全意识，助力产业健康成长。而从挑战赛的结果来看，安全威胁真的无处不在。

“ CAAD CTF 图像对抗样本挑战赛”于GeekPwn2018正式发起，比赛中需要选手通过产生对抗样本欺骗 AI 图像识别系统，让原本具备识别能力的 AI 出现非常“弱智的错误”。比如在GeekPwn2018 上海现场的比赛上，选手通过对抗样本攻击让主持人蒋昌建的照片被识别为施瓦辛格，攻破亚马逊名人识别系统。

而2019CAAD CTF的挑战难度升级 ，分设的“非定向识别”、“定向识别”与“人脸识别攻击”三个项目下都有三个不同的模型需要攻破。

TSAIL战队首先在前两关“非定向识别”、“定向识别”取得高分，最后在第三关“人脸识别攻击”中用图片成功欺骗图像分类器，让AI将主持人黄健翔识别成了“美国第一女儿”伊万卡·特朗普，成为现场唯一成功欺骗Clarifai人脸识别系统的团队。

这一图像对抗样本的攻击实现尤其是“人脸识别攻击”对于当前逐渐普及的“刷脸”应用来说无疑是个巨大的挑战。手机人脸解锁、刷脸支付、酒店刷脸入住、刷脸收取快递...人脸识别技术已经深入到我们生活的方方面面，但它们的安保机制却如此脆弱，一张稍加处理过的图像就能轻易攻破。

设想一下，未来你的身份或许通过一副“眼镜”就能被轻易盗取，手机信息、酒店信息，甚至是银行卡信息也随之暴露......个人隐私安全、财产安全将受到前所未有的威胁。所以，一方面公众需提高AI安全意识，另一方面AI算法的安全性、可靠性也有待重新评估。

“CAAD 隐身挑战赛”于今年大赛正式发起，比赛规则是，选手需要在现场的 A4 纸上打印出图案，裁成任意大小的矩形，最终实现躲过目标检测系统的识别。

比赛现场，包括TSAIL战队在内的三支战队分别打印了多张“图像对抗样本”，让现场观众将样本举在胸前，放在镜头前成功躲过目标检测系统的识别，让系统感知不到有人存在实现“隐身”。三支战队都在一米处实现了隐身，但TSAIL 战队使用的图像尺寸最小（14cm*14cm），成功拿下该项目的第一名。

值得重视的是，该项目下全部攻破的是业界流行的YOLOv3系统，这也意味着，目前市面上的目标检测系统存在被攻破的可能。

目前目标检测技术是大规模商业落地的AI技术之一，已经应用到公共场所动态监控、安防布控以及自动驾驶汽车的感知系统等多个商业场景中，“隐身”攻击的实现，除了会影响人身安全甚至还将威胁到社会安全乃至国家安全。

当监控系统失去监管效力，警方过度信任AI监控导致罪犯轻松利用“隐身”技术逃脱；自动驾驶汽车失控，被不法分子安装在路边的某个“图案”误导而引发车祸......

的确，《哈利波特》中的“隐身斗篷”魔力无边，但当这件“斗篷”真实出现在生活中，却有可能滋生犯罪、被不法分子拿去制造危机、成为恐怖分子手中的武器。当然，我们并非完全否定“隐身”技术，但如何使用它、防御它需要相关机构以及AI技术厂商尽快行动起来。

GeekPwn大赛发起创办人王琦发表致辞

一项新技术的出现往往具有两面性，实现突破的同时可能伴随着“暗流涌动”，但正如GeekPwn大赛发起创办人王琦在致辞中所说的：努力消灭不美好，完美的未来必然是安全的未来。

凭借在AI安全领域多年来的积累，RealAI自成立之初就致力于解决AI技术发展过程中的各种“不美好”。通过不断尝试攻击，RealAI希望在安全危机尚未发生之前，找到对抗这些攻击的方法，将安全隐患扼杀在摇篮里。

所以，今年5月，RealAI正式发布了与清华大学AI研究院联合开发的RealSafe人工智能安全平台。RealSafe平台融合黑盒、白盒多个场景，能够提供AI算法漏洞检测与漏洞修复，以及全面、细致的算法评测与比较，同时可以应用至金融领域的身份验证、安防领域的监控识别等具体场景，保障AI应用的安全性。

人工智能作为前沿科技正逐渐被普及，但有关AI安全风险的新闻也不断被曝光。作为国内顶尖的AI安全研究团队，RealAI将持续深耕漏洞研究，不断输出自身的安全能力，为AI安全新思维的升级和新趋势的探索贡献力量。