AnyText多语言文字生成与编辑模型——让AI绘图自由添加精美文字

随着AIGC的爆火，图片生成技术得到飞速发展，当前AI生成的图片已达到真假难辨的高保真度。例如stable diffusion与midjourney为代表的文生图大模型。不过，当合成图片中出现文字内容时，现存的AI技术依然无法驾驭文字内容。因此，modescope提出了一种新型的文字生成方法，此方法称之为AnyTex。AnyTex可以支持中文、英语、日语、韩语等多语言的文字生成，还支持对输入图片中的文字内容进行编辑。

AnyText主要基于扩散（Diffusion）模型，包含两个核心模块：

隐空间辅助模块（Auxiliary Latent Module）：隐空间辅助模块对三类辅助信息（字形、文字位置和掩码图像）进行编码并构建隐空间特征图像，用来辅助视觉文字的生成；

文本