Talk｜香港中文大学高瑞元：MagicDrive - 基于3D几何控制的自动驾驶街景数据生成

本期为TechBeat人工智能社区第565期线上Talk。

北京时间1月18日(周四)20:00，香港中文大学博士生—高瑞元的Talk已准时在TechBeat人工智能社区开播！

他与大家分享的主题是:?“MagicDrive - 基于3D几何控制的自动驾驶街景数据生成”，介绍了他的团队在新型街景生成框架等相关工作所做的研究。

Talk·信息

▼

主题：MagicDrive - 基于3D几何控制的自动驾驶街景数据生成

嘉宾：香港中文大学博士生?高瑞元

时间：北京时间?1月18日(周四)20:00

地点：TechBeat人工智能社区

点击下方链接，即可观看视频！

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://www.techbeat.net/talk-info?id=843

Talk·介绍

▼

虽然最近在扩散模型方面的进步显著提高了具有2D控制的数据合成能力，并让我们看到了在3D感知任务成功应用合成数据希望，但在街景生成中实现精确的3D控制却依旧十分困难。具体来说，将鸟瞰视角（BEV）作为主要条件会丢失高度信息，无法控制道路表面高度；使用2D控制会影响到物体大小、遮挡模式和，进而与标注不匹配。对于3D物体检测任务，这些都是感知数据合成的重要因素。

MagicDrive作为一个新型街景生成框架，提供了包括相机姿态、道路地图和3D边界框在内的多样化3D几何控制。通过定制编码策略实现了与文本描述的结合，可以实现多种条件的戏力度控制。此外，我们的设计还融入了一个跨视图关注模块，确保了多个相机视图间的一致性。通过MagicDrive，我们捕捉到了细粒度的3D几何变化和各种场景描述差异，实现了高保真度的街景合成。在下游任务的实验中，MagicDrive 还证明了生成数据可以用来提升BEV分割和3D物体检测等任务的表现。

Talk大纲

1、背景：3D 可控的街景生成与自动驾驶感知模型数据增强；

2、方法：MagicDrive - 多重可控 + 跨视角/多帧一致的街景数据生成；

3、实验结果：MagicDrive 生成高质量图像/视频数据，可以有效驱动下有感知任务训练，并且具有多重可控性；

4、总结：MagicDrive 的优势与不足，以及未来工作展望

Talk·预习资料

▼

论文链接：

https://arxiv.org/abs/2310.02601

论文链接：

https://arxiv.org/abs/2308.07687

论文链接：?

https://arxiv.org/abs/2306.04607

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

高瑞元

香港中文大学博士生

高瑞元目前是CUHK计算机系博四的学生，导师是徐强教授。博士期间主要的研究方向是生成模型与感知模型的协同，对AI安全也有所涉猎。此前，高瑞元于北京航空航天大学获得本科学位，曾与北京航空航天大学的杨海龙老师、刘祥龙老师一同合作，主要研究方向为AI隐私。?

以第一作者身份在多个会议、期刊发表过多篇论文, 包括ICCV，CCGrid和TCYB，并以协作作者身份发表多篇论文。曾在中国科学院自动化研究所，商汤研究院等实习。

个人主页:??TechBeat?

---

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区