目前市面上的人脸识别系统大多采用的是第三方开放SDK或者API接口,搭载的算法主要是基于图片信息特征比对,通过提取图片中的人脸特征并进行比对,判断是否为同一个人。这些主流应用场景的背后,往往藏着不为多数人所知却巨大的算法漏洞。
其中,最为突出就是“对抗样本攻击”,攻击者通过人像图片进行细微修改,在肉眼难以甚至无法感知的情况下,就可能使模型产生错误的决策,把完全不同的人像识别为一个人。
扫描文末二维码在线申请试用
近日RealAI正式推出了首个针对算法模型本身安全的检测平台——RealSafe人工智能安全平台,提供从安全测评到防御加固整体解决方案,帮助企业快速缓解对抗样本攻击威胁。
只需三步,你的人脸识别系统可能出错
考虑到公众对于对抗样本这一概念可能比较模糊,RealSafe平台为用户提供对抗样本攻防的在线体验,并且我们将RealSafe生成的对抗样本放到国外主流 AI 平台的演示服务(微软、亚马逊云服务的人脸比对演示平台)中进行了测试,深入观察对抗样本“噪音”对人脸比对算法的影响。
我们主要选取两张不同的人脸图像(如上图),通过RealSafe平台对其中一张图片生成对抗样本,但不影响肉眼判断,添加“对抗样本”前后分别输入第三方平台测试相似度。
最终结果两人意外!添加“噪声”前,两张图片被 Azure、AWS 判定为不属于同一个人,但添加“噪声”后,以上两个平台的演示服务均给出了错误的结果,认为两张图片属于同一个人,甚至 Azure 平台的演示服务在添加“噪声”前后相似度变化的幅度高达70%以上。
当然为了保证结果的普适性,我们又选取了国内三家主流人脸比对平台进行测试,结果显示,添加扰动之后,图片相似度的变化幅度可达到20%以上,原本判定为“不同人脸”,添加扰动之后均错误识别为“相同人脸”,实测证明,“对抗样本”可以极大的干扰人脸比对系统的识别结果。
不过通过RealSafe防火墙“去噪”过滤后,这几个人脸比对平台的识别“误差”均获得了不同程度的纠正,识别效果得到稳定提升。
目前,RealAI团队已经将这种潜在风险以及相关防御方法反馈给上述企业,以帮助企业及时修补漏洞。
虽然这些平台人脸比对的准确率可以达到99%及以上,结合活体验证能够有效抵御照片、视频翻拍、3D模型等作弊行为,但对于对抗样本攻击的防御能力仍有待加强。
你的人脸识别安全指数有多高?
为了帮助用户提高对人脸比对背后模型安全性的概念,RealSafe平台支持模型安全测评功能,采用可视化、可量化的形式对安全评测结果进行展示。
只需接入所需测评模型的SDK或API接口,选择平台内置或者自行上传数据集,平台将基于多种算法生成对抗样本模拟攻击,并综合在不同算法、迭代次数、扰动量大小的攻击下模型效果的变化,给出模型安全评分及详细的测评报告。
测评报告会根据模型在对抗样本攻击下的表现进行评分,评分越高则模型安全性越高,这样可以清晰看到人工智能识别系统安全指数到底有多高。
当然,测评报告的分数较低也不用担心,RealSafe平台为用户提供模型安全升级服务,支持五种去除对抗噪声的通用防御方法,可实现对输入数据的自动去噪处理,破坏攻击者恶意添加的对抗噪声。
根据上述的模型安全评测结果,用户可自行选择合适的防御方案,从而达到提升模型安全性的目的。根据实测结果,部分第三方的人脸比对API通过使用我们的防御方案加固后,安全性可提高40%以上。
就如网络安全时代,网络攻击的大规模渗透诞生出杀毒软件,RealSafe人工智能安全平台致力于成为人工智能时代的“杀毒软件”,为构建人工智能系统防火墙提供支持。
RealSafe帮你有效应对算法漏洞
前有小学生用照片破解丰巢的人脸识别,后有自动驾驶被恶意误导驶向行人,近年来因AI技术不成熟导致的侵害风险频现,以对抗样本为代表的算法安全逐渐成为继网络安全、数据安全后又一大安全难题。
虽然此前也有检测对抗样本的工具,但大多是类似ART、Foolbox这样的开源工具,但仍需自行部署、编写代码,而RealSafe平台则打破了这层技术壁垒,组件化、零编码,免去了重复造轮子的精力与时间消耗,只需提供相应的数据即可在线完成评估,学习成本低,无需拥有专业算法能力也可以上手操作。
作为清华大学人工智能研究院的核心孵化企业,RealAI在AI安全领域拥有国际领先的技术优势,团队曾率先提出多项攻防算法,相关研究成果曾被图灵奖得主作为代表性方法大幅引用,被主流开源软件FoolBox、Cleverhans等收录为标准的对抗攻击算法。
在人工智能领域多项国际大赛中,RealAI团队与清华联合组成的战队曾战胜斯坦福、腾讯安全等世界顶级高校、研究机构获得多项世界冠军,比如在GeekPwn 2019国际安全极客大赛中,联队一举获得“CAAD CTF图像对抗样本挑战赛”以及“CAAD隐身挑战赛”两项比赛冠军。
可以说在人工智能安全领域,RealAI是业界绝对的领跑者,此次推出的RealAISafe平台也内置领先的攻防算法模型,帮助企业高效应对算法威胁。
考虑到当前人脸识别技术应用最为广泛,因此RealSafe人工智能安全平台此次首先推出针对人脸比对场景的模型安全评估与检测。未来RealSafe平台还将持续迭代,支持针对目标检测、图像分类等应用场景的模型安全检测,旨在通过安全可控的人工智能为更多场景保驾护航。
你的人脸识别系统还没升级?
赶快申请试用账号
在线体验检测、加固、升级一条龙服务!