让泰勒·斯威夫特唱周杰伦的稻香,来看看这个开源项目

发布时间:2023年12月20日


简介

🔊 Amphion:是一个开源工具包,可实现语音、声音和歌唱功能。

除了文字转语音功能,它还能可以将一首歌的声音换成另一个歌手的声音。还支持声音转换、歌声合成、文本到音频、文本到音乐等功能!功能十分强大!


5a239d8c39e62be2489da4906e706ead.jpeg

🎵Amphion 支持的音频生成任务涵盖了从文本到音乐的广泛领域,每个任务都有其独特的应用和技术要求。


主要功能


1、文本到语音:将文本转换为口语化的语音。

应用:用于制作语音助手、自动语音回复系统、为视障人士阅读文本等。

2、歌声合成:创造虚拟歌手的声音,可以从文本或旋律生成歌声。

应用:用于音乐制作、虚拟偶像创作等。

3、声音转换:改变一个人的声音,使其听起来像另一个人。

应用:用于娱乐、声音设计、匿名通信等。

4、歌声转换:将一首歌的演唱者的声音转换成另一个演唱者的声音。

应用:用于音乐制作、个性化音乐体验等。

5、文本到音频:不仅将文本转换为语音,还可以转换成其他类型的音频,如音效或音乐片段。

应用:用于创造音效、音乐片段、音频故事等。

6、文本到音乐:从文本描述中生成音乐。
应用:用于自动音乐创作、根据情感或故事情节创作音乐等。

模型支持:该工具包支持多种模型和架构,如FastSpeech2、VITS、Vall-E、NaturalSpeech2等,用于不同的音频生成任务。

声码器支持:Amphion 支持多种神经声码器,包括基于GAN的声码器(如MelGAN、HiFi-GAN)、基于流的声码器(如WaveGlow)、基于扩散的声码器(如Diffwave)等。

数据集支持:Amphion 统一了开源数据集的数据预处理,支持多种数据集,如AudioCaps、LibriTTS、LJSpeech等。

GitHub:github.com/open-mmlab/Amp…
论文:arxiv.org/abs/2312.09911
HuggingFace演示:huggingface.co/amphion

文章来源:https://blog.csdn.net/specssss/article/details/135103428
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。