沟通咨询
提交成功

唐家渝:人工智能时代的安全新风险与应对

2021.12.27
公司动态

12月27日,由CPSE安博会、全国安防协会合作互助联盟、深圳市安全防范行业协会共同主办的第十六届中国安防论坛·技术论坛于第十八届安博会期间在深圳会展中心正式举行。瑞莱智慧副总裁唐家渝出席本次论坛,并带来《人工智能时代的安全新风险与应对》的主题演讲。

 

瑞莱智慧RealAI副总裁 唐家渝

 

“数据驱动”衍生安全风险

 

近年来,在大算力和海量大数据的驱动下,以深度学习为代表的AI技术飞速发展,以计算机视觉技术为例,依托广阔的应用场景从理论研究走向大规模的应用落地,人脸识别、目标检测等被广泛应用于公共安全、城市交通等领域,推动城市治理的智能化升级。

 

但唐家渝表示,“数据驱动”的深度学习算法存在不可靠、不可解释等局限性,即便是开发者也难以理解其内在的运行逻辑,这就导致系统可能遭受到难以被察觉的恶意攻击。他以对抗样本攻击举例,通过对输入数据故意添加干扰,使肉眼或许难以发现,但却能误导算法以高置信度给出错误输出。

 

唐家渝解释道,这背后的原理在于,深度学习算法是通过对数据集中的示例进行学习从而建立出模型,与人类不同,它没有对先验知识进行合理利用,它的判断取决于样本数据,所以深度学习算法永远无法达到人类的判断水平。如果以一条分界线来类比,在进行决策判断的时候,模型决策的分界线与人类真实决策的分界线并非完全吻合,存在“误差”,因此可通过生成偏差数据,使其在误差空间内,人类能正常判断,但模型却判断错误,从而实现对AI系统的欺骗或攻击。

 

图片

模型决策与人类真实决策分界线并非完全吻合

 

这是深度学习范式下AI应用存在的结构性缺陷,贯穿于AI全生命周期。除了在运行环节对输入数据添加“扰动”,在最开始的模型设计环节,通过在训练数据中添加“污染数据”进行“投毒”,导致模型被埋藏后门,再通过预先设定的触发器激发后门,模型也将输出事先设定的错误结果。

 

唐家渝表示,通过数据污染、恶意样本攻击等方式对算法进行深层次攻击已经成为趋势,随着AI技术尤其是计算机视觉技术的广泛应用,这一安全风险的真实威胁开始显现。例如,公共安全领域,视频监控、安检闸机等智能安防设备被不法分子攻击,用于躲避追踪、冒充他人等;交通领域,自动驾驶汽车被干扰“致盲”,引发安全事故等;在金融领域,线上银行的人脸认证被破解,用于非法转账等诈骗行为。

 

除了算法漏洞,“数据驱动”衍生的安全风险还远不于此。海量人脸数据被恶意采集、滥用,导致用户隐私泄漏;泄露的人脸照片在表情驱动算法下生成伪造视频,用于攻破人脸核验系统等……如何有效应对人工智能安全风险,保障人工智能安全可控的应用落地成为一项重要课题。

 

图片

AI原生及衍生安全风险

 

兼顾主被动构建防御机制

 

人工智能应用是集业务、算法、数据于一体的有机整体,涉及训练、检验、运行等生命周期阶段。唐家渝表示,应面向所有关键流程,布局全面且有针对性的安全防御措施。同时他强调,人工智能安全攻防技术在快速演变过程中,新的攻击手段不断出现,除了要解决“近忧”,更要着眼于“远虑”,对于未知威胁进行研判和防范,因此需打造动态升级、科学前瞻的防御理论及技术体系。

 

凭借在AI攻防领域的丰富实践经验,瑞莱智慧提出了兼顾“被动”和“主动”的防御机制。唐家渝解释道,被动防御为AI应用部署静态的安全能力,防范已知安全风险,比如对外部访问、输入数据、行为决策等进行检测,为算法模型部署加固防护组件等,提升系统抵御攻击的能力。主动防御则是为补充被动式防御的局限,引入和强化人工智能安全团队力量,以动态防御对未知威胁进行风险预判,构建自适应、自生长的安全能力。

 

目前,在被动防御方面,瑞莱智慧推出多款人工智能安全产品:业内首个AI安全防火墙,能够在AI系统运行环节有效检测和抵御对抗样本、深度伪造等新型攻击手段;人工智能安全平台RealSafe,集成国际领先的对抗攻防算法,提供端到端的模型安全检测能力,自动化高效评估AI安全风险,并提供安全性增强方案;隐私保护计算平台RealSecure,在数据训练、建模等环节部署数据安全能力,实现“数据可用不可见”。

 

在主动防御方面,瑞莱智慧推出业内首个人工智能安全靶场RealRange,提供实战化、体系化的一站式人工智能攻防演练服务,基于攻防实战演练将安全风险暴露前置,提前发现和适应瞬息万变的新型攻击和高级威胁,动态提升团队软实力,实现“让风险发生在靶场,让有效防御构建在安全事件之前”。

 

瑞莱智慧AI安全产品矩阵,可实现对人脸识别、目标检测、图像分类等系统的安全升级,目前已在多个场景得到应用。比如与国内某头部人脸识别支付厂商合作,通过利用AI对抗攻击算法全面发掘人脸识别模型的漏洞,并进一步提供防御加固方案,提升刷脸支付的安全性。与某电网企业的合作中,利用RealSafe平台自动发掘输电线路危险品识别算法模型的漏洞,通过对抗训练提升算法鲁棒性,确保国家基础设施安全性。

 

最后,唐家渝表示,AI安全是新兴领域,除了部署技术体系外,更需要框架指导、标准规范、法律合规等多个维度协同推进。截至目前,瑞莱智慧已经与国家工信安全中心、中国信通院、国家互联网应急中心等单位开展合作,联合落地标准制定、测试评估等工作,推动AI安全从“试点示范”走向“推广应用”。未来,瑞莱智慧也将持续聚焦于国际领先的AI安全攻防技术的研发和产业化实践,护航智能产业安全可控地蓬勃发展。