计算机行业AI专题·论文解读：解锁数字大脑“视觉区”MetaAI图像分割基础模型SAM-230411（24页）.pdf

1、MetaAIMetaAI图像分割基础模型图像分割基础模型SAMSAM 解锁数字大脑“视觉区”解锁数字大脑“视觉区”西南证券研究发展中心 计算机团队王湘杰 2023年4月 AIAI专题专题论文解读论文解读 内容提要 事件背景：2023年4月5日，MetaAI研究团队发布论文“分割一切”Segment Anything，并在官网发布了图像分割基础模型Segment Anything Model(SAM)以及图像注释数据集Segment-Anything 1-Billion(SA-1B)。论文核心观点：目标：MetaAI的目标是通过引入三个相互关联的部分来构建一个用于图像分割的基础模型：1）可提示的

2、图像分割任务；2）数据标注并通过提示实现零样本到一系列任务的分割模型-SAM；3）拥有超过10亿个掩码的数据集-SA-1B。功能：1）SAM允许用户仅通过单击或通过交互式单击点来包含和排除对象来分割对象，也可以通过边界框进行提示；2）当分割对象存在歧义时，SAM可以输出多个有效掩码，是解决现实世界中分割的重要和必要能力之一；3）SAM可以自动查找并掩盖图像中的所有对象；4）SAM可以在预计算图像嵌入之后即时为任何提示生成分割掩码，从而允许与模型实时交互。结论：SAM模型试图将图像分割提升到基础模型时代，而SAM是否能达到基础模型的地位还有待观察它在社区中的使用情况，但无论该项目前景如何，超过1

3、B的掩码以及可提示的分割模型为其未来发展奠定了基础。启发：我们认为，SAM模型在SA-1B强大分割数据集的支撑下，可以通过各种形式的提示对图像下达指令，无需额外训练即可自动完成分割任务，这一通用特性使得SAM模型在相关领域的推广应用成为可能。我们认为，SAM模型有望作为效率提升的工具，赋能自动驾驶、医疗健康、安防监控、游戏娱乐、农业科技等领域，跨视觉模态和相关场景将从中收益。风险提示：AI技术发展不及预期风险；商业落地不及预期；政策支持不及预期；论文翻译偏差等。1 BVbWkZjZ9XmVqZsXtW6MdNbRmOmMsQpMfQqQnRjMpOmO9PpPvMwMmOmQxNmNrO一、论

4、文研究 1 介绍Introduction 2 任务Segment Anything Task 3 模型Segment Anything Model 4 数据引擎Segment Anything Data Engine 5 数据集Segment Anything Dataset 6 RAI分析Segment Anything RAI Analysis 7 零样本传输实验Zero-Shot Transfer Experiments 8 讨论Discussion 2 Segment Anything 2023年4月5日，MetaAI研究团队发布论文Segment Anything。论文指出，Meta

5、AI的目标是通过引入三个相互关联的部分来构建一个用于图像分割的基础模型：1）可提示的图像分割任务；2）数据标注并通过提示实现零样本到一系列任务的分割模型SAM；3）拥有超过10亿个掩码的数据集-SA-1B。1、可提示的分割任务 2、分割模型 3、图像数据注释集 1、可提示的分割任务 2、分割模型 3、图像数据注释集 资料来源：MetaAI，西南证券整理 资料来源：MetaAI，西南证券整理 3 3 摘要Abstract 论文介绍Segment Anything(SA)项目主要包括了用于图像分割的新任务、模型和数据集。文章提到，MetaAI研究团队在https:/segment-上发布了Segm

6、ent AnythingModel(SAM)和相应的1B掩模和11M图像数据集(SA-1B)，以促进对计算机视觉基础模型的研究。文章指出，通过在数据收集循环中使用高效模型，AI团队构建了迄今为止最大的分割 数 据 集，在1100万张许可和尊重隐私的图像上有超过10亿个掩码。该模型被设计和训练为可提示的，因此它可以将零样本转移到新的图像分布和任务中。论文指出AI团队发现SAM在多任务上具备竞争力，且它的零样本性能让人印象深刻。资料来源：MetaAI，西南证券整理 4 1 介绍Introduction 根据论文表述，SA的目标是建立一个图像分割的基础模型，即寻求开发一个可提示的模型，并使用能够实现