兜哥-针对云端AI服务的攻击和防护（19页）.pdf

1、针对云端AI服务的攻击和防护兜哥兜哥百度安全高级架构师云端AI服务日益风行典型收益：l 不用在端上部署昂贵的GPUl 充分利用云端GPU集群的资源l 降低开发者使用AI的门槛l 模型升级便利l 便于收集bad case，加速模型优化典型的云端AI服务：l CV类，比如图像分类、图像审核、人脸识别l 语音类，比如语音识别、语音合成l NLP类，比如文本情感分析、文本内容过滤典型的调用者：l IoT设备l 开发者l 第三方应用攻击云端图片分类服务Cloud-based Image Classification Service+perturbationOriginal ImageAdversaria

2、l ImageClass:CatScore:0.99Black-box AttackClass:ToasterScore:0.99A FALSE sense of security!攻击云端AI服务困难重重未知的模型未知的预处理环节未知的网络结构未知的网络权重参数缩放、去燥、编码转化等攻击者只能访问API服务，访问的QPS和次数也受限(Img from:http:/ Hosseini,Baicen Xiao,and Radha Poovendran.2017.Googles Cloud Vision API is Not Robust to Noise通过叠加高斯或者椒盐噪声，也可以有攻击效果

3、几何攻击Hossein Hosseini,Baicen Xiao,and Radha Poovendran.2017.Googles Cloud Vision API is Not Robust to Noise通过叠加高斯或者椒盐噪声，也可以有攻击效果基于查询的攻击暴力搜索的方式（W,H,C）=(224,224,3)RGB Format搜索空间大小为：224*224*3*256=38,535,168 !Andrew Ilyas,Logan Engstrom,Anish Athalye,and Jessy Lin.Query-efficient black-box adversarial ex

4、amples(superceded).arXiv preprint arXiv:1712.07113,2017.优化检索策略后，攻击成功率达95.5%，平均查询次数为104342基于查询的攻击语义分割可以充分利用图像的原有信息Subject-based Local Search(SBLS)Attack.Xurong Li,Shouling Ji,Meng Han,Juntao Ji,Zhenyu Ren,Yushan Liu,Chunming Wu.Adversarial Examples Versus Cloud-based Detectors:A Black-box Empirical S

5、tudy攻击Google的图像分类服务，成功率达到98%，平均查询次数为576迁移攻击The cell(i,j)indicates the accuracy of the adversarial images generated for model i(row)evaluated over model j(column).Yanpei Liu,Xinyun Chen,Liu Chang,and Dawn Song.Delving into transferable adversarial examples and black-box attacks.2016.对抗攻击可以在模型之间传递，针对模

6、型A白盒生成的对抗样本，也有可能可以对模型B奏效。A和B结构越接近，攻击成功率越高基于模型指纹的攻击百度安全在Blackhat Asia 2019上提出模型指纹攻击The Cost of Learning from the Best:How Prior Knowledge Weakens the Security of Deep NeuralNetworks迁移学习在CV领域被广泛使用，比如使用基于ImageNet预训练的经典模型继续训练显然，如果可以欺骗第K层，就可以欺骗整