林云-深度学习模型训练过程的可视化解释与调试.pdf

1、助力基于AI生态的软件开发:深度学习模型训练过程的可视化解释与调试林云 上海交通大学计算机系演讲嘉宾林云上海交通大学计算机系副教授，博士生导师林云，上海交通大学计算机系副教授，博士生导师，原新加坡国立大学助理教授（研究岗），入选2021年国家海外高层次青年人才计划。主要研究领域为软件工程，侧重代码、网页和AI模型的自动分析技术。在ICSE、FSE、USENIX Security、ISSTA、ASE、NeurIPS、AAAI、IJCAI、KDD、TSE、TDSC等领域相关的国际顶级会议和期刊发表论文40余篇，国内外专利受理2项。担任PRDC2023国际会议程序委员会联合主席，以及FSE、USEN

2、IX Security,ISSTA、ICML、NeurIPS、AAAI等重要国际会议的程序委员会委员、IEEE TSE/ACM TOSEM/IEEE TDSC等顶级期刊的审稿人。主持国家基金委优青项目（海外）。获得过ICSE2018最佳论文奖。软件开发新形态Lin Yun|SJTU 4自动驾驶图像识别大语言模型插件商店（900）Lin Yun|SJTU 5软件工程技术代码调试软件测试变更影响分析训练样本采集模型架构选取超参数设置预测错误反馈和修正Lin Yun|SJTU 6面向面向AI生态的生态的软件工程技术模型调试模型测试样本影响函数训练样本采集模型架构选取超参数设置预测错误反馈和修正基本问

3、题：模型的预测结果是如何一步一步产生的？Lin Yun|SJTU 7深度神经网络训练过程深度神经网络训练过程传统软件的调试过程传统软件的调试过程可观测性问题可观测性问题意图检测问题意图检测问题可观测性问题 什么样的训练信息需要被观察？这些信息如何获得和提炼？Lin Yun|SJTU 8意图检测问题 模型开发人员有哪些意图？如果用轻量级地方式来侦测和推断这些意图？可观测性思路：深度学习即表征学习Lin Yun|SJTU 9可视化模型训练调试框架示意图Lin Yun|SJTU 10AAAI22,IJCAI22ChinaSoft22（原型竞赛一等奖）FSE23NeurIPS22可观测性意图检测可视化

4、模型训练调试框架示意图Lin Yun|SJTU 11FSE23NeurIPS22AAAI22,IJCAI22ChinaSoft22（原型竞赛一等奖）可观测性意图检测DeepVisualInsight(DVI):Time-travelling Visualization for Deep Classifier TrainingTime-travelling Visualization for Deep Classifier TrainingEpoch 1Epoch 2Epoch 3Motivating example:how adversarial training cause the perf

5、ormance degeneration?10 nearest neighbor adversarial samplestesting sampleAccuracyAdversarial Samples51.3%Testing Samples92.3%Epoch 1Motivating example:how adversarial training cause the performance degeneration?testing sampleAccuracyAdversarial Samples67.8%Testing Samples90.3%Epoch 216.5%2.0%Motiva

6、ting example:how adversarial training cause the performance degeneration?testing sampleAccuracyAdversarial Samples68.8%Testing Samples88.2%Epoch 31.0%1.1%Adversarial Samples DynamicsTesting Samples DynamicsTraining with Noisy Datae1e1e2e3e4e5调试技术工具化(TensorBoard插件=MindSpore插件)Lin Yun|SJTU 19Technical