但当人工智能的发展进入瓶颈期,学界开始思考下一步的方向。来自清华大学的张钹、朱军、苏航三位学者提出了「第三代人工智能」,并在《迈向第三代人工智能》这篇署名文章中首次全面阐述了第三代人工智能的理念。文章提出,第三代人工智能的发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能, 同时利用知识、数据、算法和算力等 4 个要素, 建立新的可解释和鲁棒的 AI 理论与方法,发展安全、可信、可靠和可扩展的 AI 技术。这篇综述引发了学界和业界的讨论热潮。「安全可靠」作为下一代人工智能的核心发展目标逐渐成为共识,数据与算法安全也成为学界和业界人士重点关注的研究主题之一。在朱军看来,今天的人工智能远远算不上完美。首先是深度学习仍然面临着鲁棒性差的问题,比如很多手机都会配备人脸识别方案,但通过一副打印了特殊纹理图案的眼镜,就能轻松解锁很多手机;再说到安全需求更高的自动驾驶系统,黑客们只需要在标识牌上加上特定图案,就能让系统将限速标识识别为停止标识,导致致命事故的发生;就连 1750 亿参数的 GPT-3,虽然一贯被誉为全科优秀生,但答起题来也有驴唇不对马嘴的时候……
AI 为什么出错?如何防止 AI 出错?如果不能解决这些问题,那么 AI 就算不上是安全、可靠。迄今为止,人类对深度神经网络等 AI 算法的出错机制知之甚少。一方面,数据的不确定性是广泛存在的,一旦遇到对抗样本攻击,哪怕是在一张图片中加上少量的噪音,虽然展示效果对人眼没有影响,但足以让人工神经网络产生误判。另一方面,数据中有用信息量的增长没跟上模型体量的增长,就会造成模型的不确定性。朱军认为,这些问题都会造成「AI 不知道自己不知道」,而贝叶斯方法恰好能提供一种自然、严谨的不确定性计算方法。贝叶斯与深度学习的结合对于任何 AI 模型来说,无论开发过程如何,在现实世界中落地的过程一定是极具不确定性的。面对诸多未知,用贝叶斯方法建模是一种解决方法。图灵奖得主、贝叶斯之父 Judea Pearl 是朱军一直以来最崇拜的学者之一,而朱军的工作则推动了贝叶斯方法的「深度」变革,将这一方法在人工智能领域的应用发扬光大。深度学习本身属于机器学习的一端,它会用到大量的训练样本和计算资源,再加上网络结构的人为调整,在特定环境、特定数据集上得到非常高的准确度。另外一端则是贝叶斯的学习方法,贝叶斯程序可以用少量的训练样本学习非常精确的模型,在数据的利用上更高效,而且对抗鲁棒性好、可解释性强。
这种结合贝叶斯方法和深度学习各自优势的研究方向被称为贝叶斯深度学习(Bayesian Deep Learning /BDL),它包括传统的贝叶斯方法、以概率推断(probabilistic inference)为主的深度学习方法,以及二者的交叉,因此它既有贝叶斯本身的可解释性,可以从少量数据中学习,又有深度学习强大的拟合能力。近年来,朱军重点关注对抗攻击鲁棒性以及不完全信息下的决策问题,在探索的过程中,仍有三个问题要解决: