【计算机视觉--解耦视频分割跟踪任何物体】

UIUC&Adobe开源|无需监督，使用解耦视频分割跟踪任何物体！视频分割的训练数据往往昂贵且需要大量的标注工作。这限制了将端到端算法扩展到新的视频分割任务，特别是在大词汇量的情况下。为了在不为每个个别任务训练视频数据的情况下实现“跟踪任何物体”，开发了一种解耦视频分割方法（DEVA），包括任务特定的图像级分割和类/任务无关的双向时间传播。由于这种设计，只需要为目标任务训练一个图像级别的模型（这更便宜），以及一个通用的时间传播模型，只需训练一次即可适用于多个任务。为了有效地结合这两个模块，使用双向传播来对来自不同帧的分割假设进行（半）在线融合，以生成一致的分割结果。展示了这种解耦的方法在多个数据稀缺任务中表现出色，包括大词汇量视频全景分割、开放世界视频分割、指代视频分割和无监督视频对象分割。
项目主页：https://hkchengrex.com/Tracking-Anything-with-DEVA/
论文地址：https://arxiv.org/abs/2309.03903
代码地址：https://github.com/hkchengrex/Tracking-Anything-with-DEVA