场景去遮挡

项目简介: 来自于商汤科技的团队。目的是去除遮挡物。

文章:Self-Supervised Scene De-occlusion

code: deocclusion

Demo视频(B站)

详情:知乎介绍

应用场景

应用1:amodal mask 自动生成

应用2:场景编辑和重组

潜在应用场景

潜在应用1:Instance segmentation 的 data augmentation

InstaBoost [1], ICCV2019,通过移动物体来做 data augmentation,但是不能解决移动物体过程中的遮挡问题。现在配合 scene de-occlusion,也许可以做得更好。

潜在应用2:帮助 panoptic segmentation 后处理中的 mask fusion 步骤

潜在应用3:应用到增强现实(AR)中

例如下图,对真实场景做 de-occlusion 之后,就可以将虚拟的物体放在真实物体的后面。