姿态估计:DiffPose

发布时间:2023年12月30日

论文链接:https://arxiv.org/pdf/2211.16940.pdf
论文代码:https://github.com/GONGJIA0208/Diffpose
项目网址:https://gongjia0208.github.io/Diffpose/
论文出处:2023 CVPR
论文单位:新加坡科技与设计大学

摘要

  • 由于固有的模糊性和遮挡,单目三维人体姿态估计具有很大的挑战性,这往往导致高度的不确定性和不确定性。
  • 另一方面,扩散模型(diffusion models) 最近成为从噪声中生成高质量图像的有效工具。
  • 受其能力的启发,我们探索了一种新的姿态估计框架(DiffPose),该框架将3D姿态估计制定为反向扩散过程。
  • 我们将新颖的设计融入到我们的DiffPose中,以促进3D姿态估计的扩散过程:一个姿态不确定性分布的姿态特定初始化一个基于高斯混合模型的正向扩散过程,以及一个情境条件下的反向扩散过程
  • 我们提出的DiffPose在广泛使用的姿态估计基准Human3.6M和MPI-INF-3DHP上显著优于现有方法。

1. 简介

  • 三维人体姿态估计是一项重要的任务,旨在从图像或视频中预测人体关节的三维坐标,它在增强现实、手语翻译和人机交互等领域有着广泛的应用,近年来引起了人们的广泛关注。

  • 一般来说,主流的方法是分两个阶段进行三维姿态估计: 首先使用二维姿态检测器获得二维姿态,然后进行二维到三维的提升 (其中提升过程是最近的研究关注的主要方面)。

  • 然而,尽管取得了长足的进步,单目3D姿态估计仍然具有挑战性。

  • 特别是,由于许多挑战,包括固有的深度模糊和潜在的遮挡,很难从单目数据中准确预测3D姿态,这往往导致高度的不确定性。

  • 另一方面,**扩散模型(diffusion models)**最近作为一种生成高质量图像的有效方法而流行起来。

  • 通常,扩散模型能够通过逐步去除随机(不确定)噪声的多个步骤生成与指定数据分布 (例如?

文章来源:https://blog.csdn.net/gaoqing_dream163/article/details/135188484
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。