雷锋网编者按：深度学习在很多领域都取得了巨大的进步，深度学习也让我们的日常产品功能变得更强大。但是，人工智能也会带来相应的问题。在由腾讯2017 中国互联网安全领袖峰会（CSS）中，“MacAuthur天才奖”“世界杰出青年创新家”等奖项获得者、国际四大安全会议论文数第一的 Dawn Song介绍了一些在 AI 和网络安全领域经常遇到的挑战，AI 如何来赋予我们能力，AI 如何帮助安全。

以下是她的演讲记录，雷锋网(公众号：雷锋网)编辑在不影响原意表达的基础上略有删减和整理。

［Dawn Song］

一、深度学习如何解决 IoT 设备的安全问题

深度学习已经改变了安全形势和安全能力，深度学习能够使我们的认知系统变得更加强大，能够广泛的部署在各种产品当中，而且它能够让我们获得新的能力，更好识别恶意软件、欺诈。现在，我们已经进入到一个新物联网时代，今后几年，数十亿联网设备将被部署在其中，今天我要给大家来介绍一下我们最近的工作——深度学习如何帮助我们解决 IoT 设备的安全问题。

IoT 设备可以在不同的硬件平台上部署。与此同时，我们也会有开源代码软件，它们可能会有一些共同的漏洞。当我们发现了一个新漏洞，如何扫描这些不同的 IoT 设备的固件？如何识别这些 IoT 的设备？是不是能够去除掉这些漏洞？这是具有挑战的问题。

我们可能会有不同的固件，而且它们是在不同的平台上进行部署。而我们现在只有这些固件的二进制代码，虽然说它们可能会有同样的开源代码，但是也会有漏洞。固件的功能又不一样，我们如何确保不同的功能固件获得同样的语义？如何发现这些不同固件的功能？如何识别一些共同的弱点和漏洞？

我们首先会获得一个固件的文件，看到漏洞，进行特征提取。之后识别，并且分析这些功能从语义角度上是不是相似。在这个案例中，就是使用深度学习进行嵌入，而这样的嵌入都是多维度的。计算机可以使用深度学习让嵌入变得相似。如果两个功能有着相似的语义，它的功能就变得相似。

我们有代码图形，也会从这个代码图形当中提取一个高维数据。也会有端到端的培训方法，如果这两个代码图形是来自于相似的功能，那么计算机就会获得一个语义学的相似性。在我们的研究当中，之前的方法可能需要花费几分钟的时间来进行功能评估。而现在基于深度学习，却只需要几毫秒。

从培训时间看，之前我们可能会花费一周多来进行培训，而现在我们只需要不到 30 分钟就能完成。对于漏洞识别，我们的方法也能提供更加高的准确度。比如，在前 50 个高漏洞威胁中，42个是确定有漏洞的，比之前的漏洞识别准确率高很多。

下一步，AI 也将会带来更高的安全能力，而事实上，AI 可以颠覆很多不同的域名，包括安全领域。在补丁和防护措施的建立上，它都能够起到很大作用。不管你是打游戏还是下围棋，我们都可以通过 AI 来识别潜在的攻击，另外 AI 也能够帮助更好实现自动化。比如，在验证软件安全时，都可以利用 AI 来实现自动化。

二、AI 提升安全性能，但攻击者也用 AI

安全和 AI 其实可以互相促进。谈到开发 AI 系统时，必须要把 AI 放在攻击者的角度来进行考虑。历史已经告诉我们，攻击者一直都会跟随我们全新开发的技术的脚步，有时甚至会引领。

现在我们面临的风险在 AI 领域会更高，因为 AI 会控制越来越多的体系和系统。当我们开发出更高的 AI能力时，如果一个攻击者滥用或者利用 AI 的话，后果会更严重。

当我们开发 AI 系统时，必须从攻击者的角度来进行思考。这时，我们会看到有两个不同的问题。第一，攻击者如何来攻击 AI，让系统做出错误的决策，或者攻击者可以根据自己的目的来设计最后的结果。所以，我们要提升学习的系统，建筑防火墙，我们也需要有更好的安全系统再嵌入到深度学习的体系中。

另外，攻击者也可以滥用 AI，利用 AI 来攻击其他的体系。比如，找到其他系统中的漏洞和弱点，这样来开展更具有难度的攻击，所以我们的学习系统也必须有更好的安全性。

在之后的演讲中，我将介绍攻击者如何来进行 AI 的攻击。

虽然，深度学习系统已经取得了如此巨大的进展，但是，深度学习的系统也很容易被混淆。你可以看到，左边是最初的一些图像，它是通过我们的图像识别系统进行的归类识别，右边是一个对抗的样本，而这样对抗的样本是攻击者来运作的。这些图像非常小，肉眼根本就看不太出来。

但是，对抗的样本会让我们图像识别系统进行错误的识别。比如，本来不是鸵鸟而识别成了鸵鸟，这是谷歌的研究者所发现的一个深度学习的弱点。

为什么这是一个非常重要的问题？比如，我们现在有自动驾驶汽车，这个汽车需要根据周边的环境做出决策。比如，它会看交通灯，来确定这到底是一个停车的标志还是一个其他的标志，从而对车发出指令。

对人类的眼睛而言，这些交通灯代表着一定的意义。但是，一些故意制造出来的对抗样本会误导电脑系统，让系统错误决策。这样的攻击不仅会在现实世界中发生，而且也会从不同的距离或者不同的视角影响到交通标志的识别。