王俊杰-基于多模态大模型的用户界面交互和测试.pdf

1、基于多模态大模型的用户界面交互和测试王俊杰 中国科学院软件研究所演讲嘉宾王俊杰中国科学院软件研究所研究员，博士生导师中国科学院软件研究所研究员，博士生导师，中国科学院特聘研究岗位、青年创新促进会会员，主要从事智能化软件工程、软件质量等方面的研究，近年来主要关注智能软件测试、大模型驱动的软件测试等。在国际著名学术期刊/会议发表60余篇高水平学术论文，四次荣获ACM/IEEE杰出论文奖。主持和参与了多项国家自然科学基金项目、科技部重点研发计划、CCF-华为胡杨林基金等。担任CCF A类期刊TSE的Associate Editor，ICSE、FSE、ISSRE等的PC member，TOSEM、EM

2、SE、AUSE、软件学报等期刊的审稿人。目 录CONTENTS1.用户界面测试现状和挑战2.测试输入生成技术3.面向测试路径规划的自动化GUI测试技术4.基于多模态大模型的自动化GUI测试技术5.针对文本输入的模糊测试技术6.面向文本输入组件的交互提升技术7.总结和展望 Monkey Fastbot2 Droidbot Ape WCTester Stoat TimeMachine ComboDroid Humanoid Q-testing面临挑战 合适文本输入 连续长串操作 复合操作 页面功能理解 逻辑错误的发现用户界面测试现状和挑战相关成果 多篇论文发表在软件工程和人机交互领域旗舰会议/期刊

3、ICSE、TSE、CHI等 贝壳找房app、抖音app、华为鸿蒙生态、新能源汽车车载系统进行了应用或对接中ICSE 2023ICSE 2024ICSE 2024ICSE 2024CHI 2024 最佳论文提名奖TSE 2024Under submissionFSE2024-SE2030 用户界面测试现状和挑战 测试输入生成技术 面向测试路径规划的自动化GUI测试技术 基于多模态大模型的自动化GUI测试技术 针对文本输入的模糊测试技术 面向文本输入组件的交互提升技术提纲Fill in the Blank:Context-aware Automated Text Input Generation

4、for Mobile GUI.ICSE 2023Ask LLM to fill in the blank according to the generated promptsText Input Generation Set up linguistic patterns to generate prompts based on the current pageText input generation ExamplesText input generation for mobile app testing Passing rate:0.87 Significant activity boost

5、 and 122%(51 vs 23)more bugs by added to GUI testing toolsEvaluation 用户界面测试现状和挑战 测试输入生成技术 面向测试路径规划的自动化GUI测试技术 基于多模态大模型的自动化GUI测试技术 针对文本输入的模糊测试技术 面向文本输入组件的交互提升技术提纲 Auto GUI testing with LLM Formulate the automatic GUI testing problem to an interactive question&answering task to let the LLM conduct the

6、 whole app testing by understanding the GUI semantic information and automatically inferring possible operation stepsGPTDroid:Function-aware Automatic GUI testing GUI context extraction GUI prompting and executive command generation Functionality-aware memory prompting Testing sequence memorizer to