2-孙铁-质量洞察 —— 支付宝小程序质量数字化实践.pdf

1、质量洞察 支付宝小程序质量数字化实践2023 深圳站孙铁（仙林）负责小程序容器渲染引擎及JS引擎质量工作，熟悉浏览器内核原理及测试技术，同时负责小程序体验优化工作，是支付宝开放平台小程序质量类产品“质量洞察”的技术一号位蚂蚁集团 测试开发专家嘉宾照片2023 深圳站目录CONTENTS!#$01%&(02%&)*03%&+,04 Q&A05 2023 深圳站01议题背景2023 深圳站我们面临的问题!#$%!#$%&()*+,-./0()*+,-./0&1212&345345&6&678#$%78#$%&96&96:;=:;=&96&96种类多量级大水平参差不齐2023 深圳站如何解决!#$优

2、化回收激活!%&!#$%!#$%&!&!(!)*+,!%&-.()*+!/0()*+,123456789:;?A!,-!BCDEFGHIJKLMN!#$./012345OPQR%&()%*6789+-./0123456789STUVWXYTZ,!#$!_a=bccdcefghiAjklmnnop?bccdcqrs78tru4(9:(vw!xy2023 深圳站02数据采集2023 深圳站小程序运行时概览01支付宝客户端视角02端-业务服务端视角03支付宝端-服务端视角04服务端-服务端视角用户交互端，体验问题感知层用户交互端，体验问题感知层问题多样，原因复杂问题多样，原因复杂端资源请求端资源请求

3、/request请求请求引发体验问题直接因素引发体验问题直接因素 openAPI/开放能力开放能力引发体验问题直接因素引发体验问题直接因素服务端服务端openAPI/开放能力开放能力引发体验问题间接因素引发体验问题间接因素2023 深圳站资源异常资源异常JS异常异常request异常异常容器可捕获的异常2023 深圳站启动慢启动慢加载异常加载异常弹框报错弹框报错错误页错误页用户可感知的异常2023 深圳站小程序质量指标模型优势：优势：1.准确、客观可度量准确、客观可度量2.根因及解决方案明确根因及解决方案明确3.几乎无额外检测开销几乎无额外检测开销劣势：劣势：1.不不100%反映体验问题反映体

4、验问题2.业务影响未知，认可低业务影响未知，认可低3.不适合做场景准入不适合做场景准入优势：优势：1.明确的用户体感问题明确的用户体感问题2.业务认可度高业务认可度高3.契合研发阶段质量把控契合研发阶段质量把控劣势：劣势：1.检测、度量难检测、度量难/有额外开销有额外开销2.定问题根因、责任方困难定问题根因、责任方困难3.业务影响未知业务影响未知小程序质量标准通用通用业务指标业务指标复访率流失率转化率支付率模型系数稳定性性能启动失败启动慢错误页交互卡顿弹框体验行为动线视觉规范界面错位舆情舆情客诉客诉NPSNPSJS/request异常等5个指标启动耗时等1个指标卡99%/网络错误等17个指标J

5、ST2/FP/FCP等5个指标页面受限/不存在等9个指标流畅度等1个指标弹框/浮层等2个指标页面到达率/停留等11个指标字体/字号/颜色等10个指标元素重叠等1个指标业务异常定位异常/支付异常等8个指标交互异常点击无响应/弹窗等3个指标业界业界WebVitalsRAILFCP/FID/CLS等3个指标R/A/I/L等4个指标综合体验层子感知体验层输入因素层2023 深圳站技术指标采集错误码定义错误码定义一级类目（生命周期）一级类目（生命周期）00 未知阶段01 应用启动02 render03 worker04 页面加载二级类目（业务二级类目（业务/功能域）功能域）0000 未知类型0001 模

6、块类型0002 模块类型三级类目（错误编码）三级类目（错误编码）001 自定义解决的问题解决的问题问题归类排查分析2023 深圳站体感问题检测白屏：白屏：启动过程特定异常启动过程特定异常主文档内无内容节点主文档内无内容节点无渲染帧无渲染帧截图采样分析像素点截图采样分析像素点错误页：错误页：内容节点数较少内容节点数较少渲染帧较少渲染帧较少结合结合NLPNLP语义分析，语义分析，p path/ath/urlurl/class/text/class/text等含特定类型文本等含特定类型文本LoadingLoading异常：异常：加载动画检测加载动画检测整页面加载检测整页面加载检测内联加载检测内联加载