AIGC驱动的3D场景理解及医学图像解析_李镇.pdf

1、ArchSummit全球架构师峰会AIGC驱动的3D场景理解及医学图像解析香港中文大学（深圳）助理教授李镇博士#page#口香港大学博士（师从余益州教授），芝加哥大学访问学者（师从许锦波教授）1讲者介绍香港中文大学（深圳）理工学院/未来智联网络研究院助理院长/教授，校长青年学者口香港中文大学（深圳）深度比特实验室主任博士后：1名，博士生：8名，研究生：2名CASP12接触图预测全球冠军，并作为AlphaFoldV1的基线方案PLOSCB2018年创新与突破奖（一年一例）人才荣誉中国科协2019年青年托举人才2022年05月CAMEO蛋白打分月度第一，2022SemancticKITTI分割竞赛

2、第一，2023CVPR李镇科研助理教授主持深港A类项目“深度学习辅助的RNA蛋白结构预测以及蛋白高亲和性RNA设计”（300学术FNII助理院长万）CCF-腾讯犀牛鸟2019优秀奖，2022年犀牛鸟专项口参与科技部国家重点研发项目合作牵头国家白然科学基金重点项目，合作牵头粤深联合基金重点项目#page#目录AIGC驱动的3D室内场景稠密描述及视觉定位AIGC驱动的3D高精度的说话人脸驱动及生成AIGC驱动的结肠镜图片生成及解析#page#案例简介300字以内进行概括性的案例介绍（突出亮点、案例独特性等）随着AIGC和ChatGPT等生成模型的迅速发展，我们探索出AIGC驱动的3D场景理解以及医

3、疗场景的分析，并通过一系列自研的算法和工具，对AIGC算法辅助的下游应用进行了深入地研究，从3D场景的自动稠密描述，到室内场景的视觉定位，再到3D视觉驱动的高保真说话人脸生成，并推广到AIGC辅助的医疗场景的解析，我们均进行了深入地探讨。在本次分享中，我们将会从3D场景描述和定位，3D说话人脸生成，生成图片辅助的肠胃镜图片解析等方面，详解介绍我们应用方案的架构设计与工程实践，同时也会基于我们的经验分享在使用AIGC驱动的3D场景理解和医疗图像理解过程中的思考和对未来AIGC演进的展望。#page#目录AIGC驱动的3D室内场景稠密描述及视觉定位AIGC驱动的3D高精度的说话人脸驱动及生成AIG

4、C驱动的结肠镜图片生成及解析#page#ICCVTRR全InstanceRefer: Cooperative Holistic Understanding forVisual Grounding on Point Clouds through Instance Multilevel Contextual ReferringZhihao Yuan 1y Xu Yan it Yinghong Liao lRuimao Zhang Sheng Wang2,Zhen Lilad Shuguang CuiiiThe Chinese University ofHong Kong GShenzhen）She

5、nzhen Research Institute of Big Data2CryoEM Center Southern University of Science and Technology#page#ICCVTRRBackground全Visual GroundingVisual grounding CVG) aims at localizing the desired objects or areas in an image or a3D scene based on an objectrelated linguistic queryImage3D ScanClose-upQuery:I

6、tisaLshaped couchinfrontofabrownentertainmentcenter.Query:first giraffeon leftScanRefer: 3D Object Localizatiion in RGB-D Scans usiing Natural Language#page#ICCVTRRBackgroundScanRefer:1. Exploiting object detection to generate proposal candidates；2. Localize described object by fusing language featu