鲁棒声纹识别的对抗防御-张晓雷.pdf

1、第四届声纹识别产业发展与创新研讨会第四届声纹识别产业发展与创新研讨会鲁棒声纹识别的对抗防御鲁棒声纹识别的对抗防御Robust speaker recognition against adversarial attacks张晓雷Robust speaker recognition against adversarial attacks张晓雷西北工业大学2024年3月29日目 录目 录一、研究背景及研究意义一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御四、总结二、声纹对抗样本攻击三、声纹对抗样本防御四、总结2 23 3Z.Baietal.,“SpeakerRecognitionBa

2、sedonDeepLearning:AnOverview,”NeuralNetworks,2021.一、研究背景及研究意义一、研究背景及研究意义声纹验证声纹认证声纹日志声纹识别系统在遭受攻击时表现出一定的脆弱性声纹识别系统在遭受攻击时表现出一定的脆弱性4 4一、研究背景及研究意义一、研究背景及研究意义声纹识别有广泛的应用空间身份认证与安全会议日志与纪要国安与司法5 5一、研究背景及研究意义一、研究背景及研究意义声纹识别系统在遭受攻击时表现出一定的脆弱性利用声纹识别系统本身的脆弱性，攻击方式具有隐蔽性利用声纹识别系统本身的脆弱性，攻击方式具有隐蔽性6 6一、研究背景及研究意义一、研究背景及研究意

3、义Hi,Siri.Voice Assistantse.g.Siri声纹对抗样本攻击不改变声纹统计特性目 录目 录一、研究背景及研究意义一、研究背景及研究意义二、声纹对抗样本攻击二、声纹对抗样本攻击三、声纹对抗样本防御四、总结三、声纹对抗样本防御四、总结7 78 8二、声纹对抗样本攻击-研究现状二、声纹对抗样本攻击-研究现状缺点优点方法缺点优点方法需要访问模型结构，迭代计算对抗扰动，生成对抗样本的时间长攻击成功率高、信噪比高基于梯度/优化（白盒）攻击成功率较低；查询过多时容易被检测到不需访问梯度，仅靠置信度或决策就可以实现攻击基于查询（黑盒）攻击成功率和信噪比难以平衡测试阶段不需访问梯度；生成对

4、抗样本的时间短基于生成网络（白盒）对抗样本迁移性弱，黑盒攻击成功率低不需要访问目标模型结构，具有现实意义基于迁移性（黑盒）注：白盒：攻击者了解被攻击的系统的细节黑盒：攻击者不了解被攻击的系统9 9二、声纹对抗样本攻击-关键科学问题与技术路线二、声纹对抗样本攻击-关键科学问题与技术路线提高攻击性：改进白盒模型提高迁移性：迁移学习+集成学习提高模型透明度：剖析模型决策过程1010Symmetric Saliency-based Encoder-Decoder(SSED)Saliency map loss:Angular loss:Final loss:(Here,is the speaker em

5、bedding of voice )Jiadi Yaoetal.SymmetricSaliencybasedAdversarialAttackToSpeakerIdentification,IEEESignalProcessingLetters2023.二、声纹对抗样本攻击-白盒攻击二、声纹对抗样本攻击-白盒攻击提高白盒攻击的攻击能力提高白盒攻击的攻击能力同时提高了对抗样本的信噪比和攻击成功率，且具有高时效性同时提高了对抗样本的信噪比和攻击成功率，且具有高时效性1111Jiadi Yaoetal.SymmetricSaliencybasedAdversarialAttackToSpeakerI

6、dentification,IEEESignalProcessingLetters2023.二、声纹对抗样本攻击-白盒攻击二、声纹对抗样本攻击-白盒攻击1212Jiadi Yaoetal.InterpretableSpectrumTransformationAttackstoSpeakerRecognition,IEEETASLP,2023.二、声纹对抗样本攻击-黑盒迁移攻击二、声纹对抗样本攻击-黑盒迁移攻击通过通过MDCT变换提高白盒攻击的黑盒迁移能力变换提高白盒攻击的黑盒迁移能力1313Jiadi Yaoetal.InterpretableSpectrumTransformationAtt