InseRF: 文字驱动的神经3D场景中的生成对象插入

?每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/ 。?

研究人员来自苏黎世联邦理工学院（ETH Zurich）和谷歌苏黎世（Google Zurich）的合作努力，已经成功创造了名为InseRF的新技术。该方法基于用户提供的文本描述和参考视角中的2D边界框，能够在3D场景中生成新对象。随着在3D生成建模中采用文本到图像扩散模型的强大先验，3D场景编辑领域已经发生了深刻的变革。尽管现有方法在通过风格和外观变化或移除现有对象方面效果显著，但在生成新对象方面仍面临挑战。研究人员在本项研究中解决了这一问题。他们特别提出，将3D对象插入定位于场景的参考视图中的2D对象插入。然后，将这种2D编辑提升为3D，采用单视角对象重建方法。重建的对象随后被插入到场景中，并受到单眼深度估计方法先验的指导。研究人员在各种3D场景上对其方法进行了评估，并对提出的组件进行了深入分析。他们在几个3D场景中进行的生成式对象插入实验显示，与现有方法相比，他们的方法更为有效。InseRF能够在不需要显式3D信息作为输入的情况下，进行可控制和与3D一致的对象插入。

去看看Github： https://mohamad-shahbazi.github.io/inserf/