华为：AI安全白皮书

近年来，随着海量数据的积累、计算能力的发展、机器学习方法与系统的持续创新与演进，诸如图像识别、语音识别、自然语言翻译等人工智能技术得到普遍部署和广泛应用，人工智能正朝着历史性时刻迈进。与此同时，AI 对于传统计算机安全领域的研究也产生了重大影响，除了利用AI 来构建各种恶意检测、攻击识别系统外，黑客也可能利用AI 达到更精准的攻击。除此之外，在关键的AI 应用场景上，AI 自身的安全性变得前所未有的重要，极需要构建一个不会被外界干扰而影响判断的健壮AI 系统。可以说AI 帮助了安全，安全也能帮助AI 。

本白皮书主要目的是探讨AI 自身的安全，确保AI 模型和数据的完整性与保密性，使其在不同的业务场景下，不会轻易地被攻击者影响而改变判断结果或泄露数据。不同于传统的系统安全漏洞，机器学习系统存在安全漏洞的根因是其工作原理极为复杂，缺乏可解释性。各种AI 系统安全问题（恶意机器学习）随之产生，闪避攻击、药饵攻击以及各种后门漏洞攻击层出不穷。这些攻击不但精准，而且对不同的机器学习模型有很强的可传递性，使得基于深度神经网络（DNN）的一系列AI 应用面临较大的安全威胁。例如，攻击者在训练阶段掺入恶意数据，影响AI 模型推理能力；同样也可以在判断阶段对要判断的样本加入少量噪音，刻意改变判断结果；攻击者还可能在模型中植入后门并实施高级攻击；也能通过多次查询窃取模型和数据信息。华为致力于AI 安全的研究，旨在提供一个令用户放心的AI 应用安全环境，为华为AI 使能构建智能世界的新时代愿景与使命做出贡献。为了应对AI 安全的新挑战，本白皮书提出了将AI 系统部署到业务场景中所需要的三个层次的防御手段：攻防安全，对已知攻击设计有针对性的防御机制；模型安全，通过模型验证等手段提升模型健壮性；架构安全，在部署AI 的业务中设计不同的安全机制保证业务安全。

未来，华为的AI 安全任重而道远。在技术上，需要持续研究AI可解释性，增强对机器学习工作机理的理解，并构建机制性防御措施搭建AI 安全平台；在业务上，需要详细剖析AI 在产品线的应用案例，落地经过测试和验证的AI 安全关键技术。以“万物感知、万物互联、万物智能”为特征的智能社会即将到来，华为愿与全球的客户和伙伴们共同努力携手并进，共同面对AI安全挑战。