张新宇-RLChina-具身智能论坛-2023-11-26_watermark.pdf

1、智能体精细灵巧操作的几个问题智能体精细灵巧操作的几个问题张新宇智能机器人实验室教育部软硬件协同设计与应用工程中心华东师范大学 软件工程学院2023-11-26背景背景机器人对物体灵巧操作机器人对物体灵巧操作背景背景机器人对物体灵巧操作机器人对物体灵巧操作背景背景机器人对物体灵巧操作机器人对物体灵巧操作背景背景虚实环境物体灵巧操作虚实环境物体灵巧操作背景背景虚实环境物体灵巧操作虚实环境物体灵巧操作背景背景虚实环境物体灵巧操作虚实环境物体灵巧操作研究难点研究难点1 1手的灵巧性手的灵巧性相对简单难度高parallel gripperthree-finger handmulti-finger dex

2、terous hand研究难点研究难点2 2物体的复杂性物体的复杂性简单复杂高度复杂相对简单难度高研究难点研究难点3 3数据收集不易、可扩展性差数据收集不易、可扩展性差光学追踪数据手套视频驱动研究难点研究难点4 4计算抓取稳定性定义模糊计算抓取稳定性定义模糊被抓物体的形状抓取动作的规划手跟物体的碰撞，防止发生穿透手与物体接触点的信息抓取的稳定性度量一些初步的研究成果一些初步的研究成果处理复杂物体处理复杂物体物体简化物体简化/分解分解El-Khoury et al.2008Herzog et al.2012Miller et al.2003Goldfeder et al.2007处理复杂物体处理

3、复杂物体高复杂物体高复杂物体处理复杂物体处理复杂物体高复杂物体高复杂物体我们通过计算二者构成的位姿空间，利用机器学习和粒子群优化计算抓取的稳定姿态简化成在位姿空间搜索抓取空间简化成在位姿空间搜索抓取空间虚拟环境中的物体灵巧操作虚拟环境中的物体灵巧操作精细操作时的碰撞规避精细操作时的碰撞规避精细操作时的碰撞规避精细操作时的碰撞规避时间距离机械臂A和机械臂B之间的距离机械臂A和B是否碰撞的判断依据如下所示，0,1 ,0非碰撞碰撞AB ,精细操作时的碰撞规避精细操作时的碰撞规避泰勒模型泰勒模型时间距离机械臂A和机械臂B之间的距离 0,1 ,距离函数dist的下边界函数为 dist，且满足 机械臂A和

4、B在给定时段 0,1内运动，其碰撞检测的判断依据如下所示，0上边界下边界非碰撞碰撞 dist精细操作时的碰撞规避精细操作时的碰撞规避泰勒模型泰勒模型111222A21泰勒模型精细操作时的碰撞规避精细操作时的碰撞规避泰勒模型泰勒模型精细操作时的碰撞规避精细操作时的碰撞规避泰勒模型泰勒模型遮挡情况下的抓取遮挡情况下的抓取移除遮挡物的任务规划移除遮挡物的任务规划杂乱场景下的抓取杂乱场景下的抓取相关论文相关论文 SIGGRAPH,ICRA,TRO,iROSSIGGRAPH,ICRA,TRO,iROS 1 Pan Jia,Zhang Xinyu,Manocha Denish,Efficient Pene

5、tration Depth Computation using Active Learning,ACM SIGGRAPH ASIA,November,2013.(ACM Transactions on Graphics)(CCF-A)2 Xinyu Zhang and Young J Kim.2014.Scalable Collision Detection using p-partition Fronts on Many-core Processors.IEEE Transactions on Visualization and Computer graphics 20,3(2014),44

6、7456.(CCF-A)3 Zhang Xinyu,Kim Young J.,Manocha Denish,Continuous Penetration Depth,SIAM Conference Solid and Physical Modeling(Journal of Computer-Aided Design),2013.(CCF-B)4 Tian Hao,Wang Changbo,Manocha Dinesh,Zhang Xinyu(通讯作者）,Realtime Hand-Object Interaction using Learned Grasp Space for Virtual