东风集团--基于半监督学习的HUD投射区域自适应标定技术研究.pdf

1、基于半监督学习的HUD投射区域自适应标定技术研究汇报人：程鸣 博士时间：2024年08月东风汽车研发总院汽车智能交互的价值与意义本研究的意义和价值基于AI视觉技术的方法创新实验及结论1234Content技术展望5汽车智能交互的价值与意义1 交互式连接用户与车的第一方式，是汽车产品用户体验最直接的影响因素汽车交互的含义人车应用软件硬件交互式用户体验最直接的影响因素交互成为整车智能化水平的重要标志智能车借助交互成为人类的“伙伴”人对车所有功能/性能的体验均需要通过交互实现 交互直观展现了整车一系列智能化技术与产品，是用户重点关注的对象 人-车交互程度日益加深：机械被动化至主动情感化智能交互的核心

2、价值任何智能化技术及应用在车上的探索，都须以提升人车交互体验作为最初动力与最终目标 交互的智能化水平成为衡量汽车产品竞争力的重要标准；应不遗余力的从“便捷性”、“舒适性”、“直观性”等的角度提升交互体验。汽车智能交互的价值与意义1 交互方式和交互产品，与自动驾驶水平紧密关联。交互对象正从“面向驾驶员”至“面向乘员”的方向转变；交互产品的硬件形态和软件架构，将从分离式至集成式转变，部件间的逻辑耦合性将提升，以减少冗余的算力需求；面向驾驶员L1L2级别：辅助L2L4级别：辅助+自动L4L5级别：全路段自动自动驾驶水平交互产品及交互对象显示技术DMS语音预警震动预警交互核心：提升驾驶安全面向驾乘人员

3、语音助理虚拟AI人手势识别人机接管交互核心：提升人机共驾体验面向乘客增强现实空气成像触感机器人OMS交互核心：提升乘坐舒适性HUD产品具备发展延续性第一阶段：极简的驾驶辅助信息第二阶段：丰富但不干扰的辅助信息第三阶段：多元化的行驶及娱乐信息企业研究重点科研重点本研究的意义和价值2 HUD的现阶段产品的核心目的是减少驾驶员视线分心，应针对驾驶员个体提供更精准的HUD投影区域，以提升交互体验；HUD未来的服务对象是乘员，乘员位置相对驾驶员更为灵活，所以现阶段的研究方法就应为未来的场景提供技术支撑；L1L5自动驾驶水平的提升，乘员座位布局存在明显差异 驾乘人员高矮，坐姿差异针对L1L3阶段：不能快速

4、自适应标定HUD投影区域，增加了视线负载；针对L3L5阶段：乘员位置不确定，增加了模型训练的数据需求，产品难以快速部署和实施。产品目的：通过视觉识别驾乘人员视线区域，从而自适应调节HUD投影区域，满足HUD产品发展的延续性。同时，仅通过少量已标注数据，完成模型的训练，提升产品的可实施性。基于AI视觉技术的方法创新3 本研究将采用深度学习技术识别驾乘人员视线区域；深度学习技术存在不确定性因素干扰 深度学习模型建模的好坏，决定了模型对事物的认知上线，该上线未知，也称认知不确定性；标注误差、传感器误差、欠数据等除模型以外的客观事实，构成偶然不确定性的成因；需要根据实际应用常见，搭建深度学习模型，挖掘

5、数据与目标的隐性关系。基于生理参数基于车辆运行异常轨迹基于驾驶员面部特征脑电波信号血液脉搏皮肤肌肉眼睛状态表情肌肉嘴巴状态转向角踏板力加速度直接式间接式非接触式接触式深度学习技术以数据为燃料、模型为引擎、相关算法为驱动的优势凸显，善于提取不同场景状态中的隐性特征。视线分心和视线区域标定搭建半监督学习框架研究相关方法和理论实车验证算法的功性能DMS与HUD逻辑层结合产品构思研究方法和思路基于AI视觉技术的方法创新3 半监督学习视区分类：主要目的是过滤驾驶员外形特征差异、驾驶习惯差异和车内摄像头的位置差异所带来了信号干扰原图人脸检测模型上半部分人脸视线角度模型监督学习视线角度线下：先验知识提取视线

6、区域人工标注叠加态最大边界范围平均边界范围线上：实时标定阶段最大边界范围平均边界范围视线角度剔除无效类别视线区域候选框滑窗操作角度与区域映射关系线上：实时监测阶段视线角度视线区域类别角度与区域映射关系裁剪ResizeResize自适应修复建立小样本数据集，提取先验知识；采用先验知识在实时标定阶段，过滤杂波干扰，确定针对个人的视线角度与视线区域映射关系。视区滤波流程3 基于AI视觉技术的方法创新 视线角度模型优化：基于ResNet主干网络，设计视线角度回归模型XHCWhcw11c11c激励标注Xhcw挤压SE Block主要包括挤压、激励和尺度缩放三个处理过程：（1）挤压操作以全局平均池化形式实