4. Rokid AR空间计算平台的关键技术以及应用落地（杨剑）.pdf

1、Rokid AR空间计算平台的关键技术以及应用落地杨剑Rokid AR软件研发负责1Rokid AR空间计算平台介绍Rokid创于2014年，是家专注于新代机交互技术的产品平台公司，2018年即被评为国家新技术企业。Rokid作为业的探索者、领跑者，前致于AR眼镜等软硬件产品的研发及以YodaOS-Master操作系统为载体的态构建。公司通过语识别、然语处理、计算机视觉、光学显示、芯平台、硬件设计等多领域研究，将前沿的Al和AR技术与业应相结合，为不同垂直领域的客户提供全栈式解决案，有效提升户体验、助企业增效、赋能公共安全，其Al、AR产品已在全球80余个国家和地区投使。About Rokid

2、Rokid本质是家隐藏在精美硬件产品中的系统软件公司YodaOS-Master为空间而生AR空间计算平台 空间操作系统交互感知理解展现系统架构开创轻薄OSTVST vs OSTVST(Video See-Through)视频透视硬件要求头盔形态，相对较重沉浸式更强感知和计算做到极致OST(Optical See Through)光学透视更考验产品眼镜形态，穿戴要求信息对较难真实世界融合度2AR关键技术1.近眼显示1.1 光学1.2 显示2.内容制作2.1 弱交互2.2 强交互2.3 撑技术3.网络通信3.1 接3.2 承载3.3 预处理3.4 数据中3.5 监控运维4.渲染计算4.1 渲染1.

3、04.2 渲染2.04.3 未来渲染5.感知交互5.1 感知5.2 交互空间虚拟交互-3D手势Rokid单3D势识别技术空间虚拟交互-3D手势Rokid单3D势识别技术感知物理世界-SLAM算法VSLAM框架传感器数据摄像头(单、双、RGB-D深度图)惯性测量单元（Inertial measurement unit，简称IMU）前端视觉程计（visual odometry，简称VO）。主要是研究如何根据相邻帧图像定量估算帧间相机的运动后端主要是对视觉前端得到的不够准确的相机位姿和重建地图进优化微调回环检测识别曾经到过的地，解决位置随时间漂移的问题建立地图根据不同的传感器类型和应需求建不同的地图

4、2D栅格地图、3D点云地图等VSLAM方案-双目 VS 单目说明说明双目方案单目方案优点：与眼成像原理致，案成熟度缺点：体积相对、结构复杂、计算量优点：结构简单、功耗低缺点：法评估绝对深度VSLAM算法-单目+IMU说明单目+IMUIMU积分获得位姿与移动数据弥补单相机尺度不可观问题说明说明Rokid UXR2.0 SDK为YodaOS-Master构建空间体验多生态支持Unity OpenXR MRTK JavaScript多种开发工具协同性能检测 调试模式多模态交互头控 键鼠 射线控制器 空间音频空间模式 手势 语音原子算法能力解耦算法&SDK3dof:ekfMulti-DisplayRe

5、nderUnity XR Input InputProviderTracked PoseDriver(Position,Rotation)3DGestureSharedCameraImageTrackingGlassIMU,Camera,Display,MicCamera Preview,Capture.Gesture InteractionGestureTrackerVoice Recog Head TrackerClientGestureClientStationIMU,Camera,KeyHEAD/ControllerTracker3Dof ControllerUnity XR Disp

6、layDisplayProvider StereoRenderingRenderEyesToDisplayOSTAsync RenderingControllerClientShare CameraClientRokid XR CTRLERRokid XR CAMRokid XR Gesture 6dof:PIEIMU ManagerUSB ManagerCamera ManagerOpenXRruntimeATW/ASWruntime3rd ControllerIMU,Key,TouchPlaneTracking