2 沈哲 使用机器学习提升自动化手机质检设备的效率.pdf

1、使用机器学习提升自动化手机质检设备的效率 沈哲Shanghai手机屏幕显示质检的现状以及研发背景Shanghai现状和背景该设备借助工业相机对手机的屏幕进行拍照，手机上会事先安装一个质检 App，它跟上位机(桌面端程序)通过 TCP 协议进行通信。质检 App上位机工业相机拍照TCPKotlin Compose Desktop+HSM 实现上位机的软件架构ShanghaiUI 框架的选择我们团队从服务端、客户端、桌面端大多上都使用 Kotlin 语言，所以开发智能设备的上位机程序也是首选 Kotlin。SwingElectronCompose Desktop优点能够快速上手进行开发，UI美观U

2、I 层不再是一个独立的应用，可以整体升级缺点界面不太理想 调用一些硬件设备、调用 OpenCV 也不是很好地支持、升级不方便刚处于1.0版本UI 框架的选择状态机的使用状态机是现实事物运行规则抽象而成的一个数学模型。从 FSM 到 HSM从 FSM 到 HSM后来为何需要分层状态机呢？分层状态机，（英语：Hierarchical State Machine,HSM）用于描述复杂的状态转换系统，它通过将复杂的状态图分成多个子状态机，从而使得状态转换的处理更加清晰、可控。在 HSM 中，每个状态都可以是一个独立的有限状态机，其中每个有限状态机可以包含若干子状态机，形成一个树形结构。HSM 不仅可以

3、描述一个状态所对应的行为，还可以描述一个状态所对应的子状态机的切换。我们迭代了质检方式，并且随着流程的复杂，状态和触发条件都增加了。使用 HSM 可以让整个流程更清晰，也更好解耦。从 FSM 到 HSM通过机器学习的算法提升质检效率Shanghai强依赖网络的手机屏幕质检设备在早期的方案设计中，上位机跟手机的质检 App 通过自定义的 TCP 协议进行通信。上位机跟 App 建立连接后，会获取手机的基础信息，然后发消息给 App 开始进行拍照质检。在质检过程中，上位机会发送消息告知 App 切换不同的颜色，质检设备里的工业相机基于不同的颜色调整不同的拍照参数，进行拍照。质检 App上位机工业相

4、机拍照TCPWiFi差、重试、超时、效率低20秒手机在屏幕质检前，需要查找 Wi-Fi 热点进行联网 且之后 App 跟上位机保持实时通信之前的质检上位机跟 App 是通过 TCP 来驱动完成的。屏幕正常的手机屏幕异常的手机新设计的流程去掉了上位机和 App 的通信。App 打开后直接放入质检设备中，此时 App 会轮播各种图片，上位机识别到标志页后开始正式的质检。基于机器学习驱动的质检流程因为 App 跟上位机之间没有网络通信了，所以上位机需要通过机器学习来判断每一步的质检步骤从而决定下一步的流程。新的质检流程大致如下：1.查找第一个标志页2.基于标志页判断下一页的图像并进行校验3.质检流程

5、中遇到标志页，也需要校验图像4.将质检图片传到服务端查找第一个标志页基于轮播各种颜色以及图案的页面，检测出第一个包含有三角形、圆形、二维码(并识别二维码的内容)的页面作为第一个标志页。查找标志页的算法：首先对图像灰度化和二值化。图像分割是图像进行视觉分析和模式识别的基本前提，而阈值分割是最简单的图像分割方法。我们使用阈值分割算法进行二值化，选用的是 OTSU 算法来进行全局的阈值分割。查找标志页的算法OTSU 算法的基本思想是根据选取的阈值将图像分为目标和背景两个部分，计算该灰度值下的类间方差值。当类间方差最大时，对应的灰度值作为最佳阈值。查找标志页的算法判断是否有手机轮廓，如果有的话提取轮廓

6、的 ROI 作为单独的图像。如果没有轮廓则停止分析当前图像。查找标志页的算法对 ROI 对象再进行一次阈值分割和轮廓分析。通过多边形拟合的方式判断 ROI 对象内是否有 三角形、圆形、二维码。基于标志页判断下一页的图像并进行校验灰色：先对图像进行增强，然后判断是否有图案白色：先对图像进行增强，然后判断是否有图案黑色：检测关灯拍摄黑色图片的质量，判断相机是否过曝、门没关紧等各种环境因素，以及手机是否异常黑色(开灯)：检测开灯是否成功，并判断是否有手机的轮廓质检流程中遇到标志页，也需要校验图像三角：校验是否包含有三角形圆形：校验是否包含有圆形二维码：校验是否