随着chat gpt爆火之后,越来越多的人开始关注人工智能,人工智能相关的其他应用如AI绘画,也再次得到人们的关注。AI绘画的确很上头,最近几天小编也研究一下,这里把研究的过程以及中间遇到的问题整理一下,我这里遇到的问题,相信新入门的小白也会遇到,希望本文对你能有一定的帮助。给大家带来了全新保姆级教程资料包 (文末可获取)
目前常用的AI绘画工具主要有两种:stable diffusion 和 midjourney。
两者都是根据使用者输入绘画描述,进行图片生成,背后都是采用机器学习算法工作,对于两者的具体技术实现细节,这里不错过多描述,毕竟这方面小编也不擅长,哈哈哈。
从绘图效果来看,两者差别不大,对于日常绘图需求,两者都可以完全满足,这里我主要站在使用者的角度来对比一下两者的差异:
midjourney:是一个国外的商业化产品,操作简单,使用方便,出图效果完全取决于提示词。
使用门槛:
1.需要科学上网
2.需要付费,费用还挺高
这里是 midjourney的官网:https://www.midjourney.com/app/
stable diffusion 是一个免费的开源工具包,可以在本地安装,直接使用本地计算资源就可以进行绘画创作,同时stable diffusion提供了很多可以扩展的插件,可以根据场景需要,进行自定义功能扩展。
使用门槛:
对电脑配置有一定的要求,当然配置低的电脑可以可以玩,只不过出图效率比较低而已。
小编的电脑配置:
Mac os 12.5 M1
内存:16GB
CPU和GPU都是苹果芯片
输出512*512的图片大概15s左右。
前期为了学习和研究,满足一下自己的好奇心,这些都不是最重要。最重要的是先搞出一张图,把整个流程跑通。
作为一个程序员,小编比较喜欢自己折腾一些东西,这里我使用 本地安装stable diffusion的方式。
stable diffusion的安装直接参考官网提供的安装指南即可:https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki
这里有各种芯片组使用的安装方式,我的电脑是 apple芯片,安装方式使用的是:
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Installation-on-Apple-Silicon
安装过程主要分为如下5步,如下图:
注意:这里使用了Home Brew完成对需要依赖的安装,Home brew的安装需要科学上网,如果没有条件的话,也可以使用国内镜像安装,操作方式可以参考:https://zhuanlan.zhihu.com/p/111014448/
按照上述步骤,经过10-20分钟后,可以完成安装。
安装完成后,在 stable-diffusion-webui 目录下执行./web-ui.sh,第一次执行会比较慢,会下载一些基础模型和依赖,大概等待5-10分钟后,在控制台会看到如下图输出,说明启动成功。
此时在浏览器访问地址:http://localhost:7860 即可。
此时你会看到如下图所示的页面:
可能有的老铁看到的页面和上图有些差异:
1.你的主题是黑色的,我的怎么是白的?
2.你的是汉化的,我的怎么全是英文?
是的,我的页面是经过调整配置的,具体怎么配置,我后面会详细说明。
在上图中,一种有7个重点区域
模型对于画图至关重要,它直接决定了你要出图的风格,对于初学者直接使用其他人提供的模型就行,模型的下载后面会详细说。
stable diffusion支持多种绘图能力:
文生图:根据提示词描述完成图片生成
图生图:使用提供的图片作为参考,完成新图片的生成
高清化:将已有图片进行高清化处理
图片信息:如果一个图片是stable diffusion生成的,那么使用图片信息功能,可以输出生成这张图片使用的模型、提示词等信息
模型合并:是一种高阶使用方式,可以将多个模型合并生成一个全新的模型
训练:使用者可以根据自己的一些图片数据进行训练,生成一个全新的模型
setting:是对stable diffusion进行配置的控制面板,具体控制项,读者可以自行查看
扩展:可以实现对stable diffusion进行插件功能扩展,来实现对stable diffusion进行功能增强,扩展功能下面会进行具体演示
正向提示词是你与模型对话的输出框,告诉模型你想要什么,告诉模型你要绘画的内容,如人物特征,形象,背景,图片质量等。
和正向提示词作用相反,就是告诉模型,你不想要什么,通常模型在输出的图形的上会有一些瑕疵,如怪异的手指,眼睛等一些细节,你可以在这里输入这些你不想要的内容。
这些参数主要是控制输出图片的一些控制参数。
宽度、高度:这两个参数直接控制输出图片的尺寸大小,当如输出图片尺寸越大,生成图片耗时越长
采样步数(Sampling steps):决定了模型输出图片迭代的次数,迭代次数越多,耗时越长,但是效果却不是越好的,这个迭代次数,通常20-30直接,当然也取决于具体的模型,可以在生成图片的时候,可根据具体情况调整
生成次数和每次数量:决定了一次生成任务可以生成多个张图片,生成图片越多,耗时也就越长
点击生成按钮,模型就开始根据你设置的参数来执行图片生成了动作了,可以根据进度条查看图片生成的进度。
可能有的老铁,经过前面几步的参数配置后,点击图片生成按钮,并没有生成图片,反而命令控制台有报错输出
如下图:
报错关键信息:
RuntimeError: “upsample_nearest2d_channels_last” not implemented for’Half
报错的原因是现有的芯片组不支持Half参数,对于这个问题,可以在启动命令添加如下参数:./webui.sh --no-half 进行重新启动就可。
等待大概15s左右,就会在图片展示区看到你的第一张AI绘画了。
上面介绍模型选择区的时候说过,模型对于stable diffusion来说至关重要,他决定了绘画的风格,比如你想要画一副二次元风格的图片,那么就尽量选择一个二次元画风的模型,模型的选择要比你输入多少提示词都要好使。
对于新手小白来说,可以使用别人训练好的模型直接使用,模型的选择和下载可以到下面这个两个网站:
https://huggingface.co/models
https://civitai.com/ (C站)
模型主要分为两种:大模型(checkpoint)和微调模型(lora)。
下面我以C站为例演示一下如何下载模型。
1.进入C站后,可以浏览自己需要的大模型,也可以有目标的搜索自己需要的模型
2.选中自己需要的模型,点击下载按钮,就会进行模型的下载,通常大模型会比较大
3.点击演示图片右下方的 “i”,可以查看演示图片的配置信息:正方向提示词,使用的模型等,使用演示图片的配置信息进行模型的验证。
4.模型下载完毕后,需要将模型文件放到/stable diffusion/stable-diffusion-webui/models/Stable-diffusion目录下,重启 stable diffusion,在模型选择区就可以看到自己需要的模型了。
在stabel diffusion的模型中,还有一种对生成图片画风影响比较大的模型,它就是Lora,虽然他是一种微调模型,但是对于生成图片的影响也比较明显,会影响生成图片的一些细节和图片的背景。
加粗样式
Lora模型的下载和checkpoint大模型下载方式是一样,也可以在C站中下载,Lora模型通常会比较小。下载后的Lora模型放到如下目录: /stable diffusion/stable-diffusion-webui/models/Lora 。
lora模型如何使用呢?
lora模型会作为一个正向提示词,出现在正向提示词输入框中,使用形式如下:
lora:LORA_CNCG_arts:1
LORA_CNCG_arts:表示lora模型名称
1:表示模型权重,在一个正向提示词输入框中可以使用多个lora模型,但是多个模型的权重之和不能超过1
这里可能有些老铁会有这样的疑问:
下载下来的模型都是一个文件,文件名称描述性也不高,有没有一个缩略图,可以直观的看出这个模型画出的图大概长什么样子?
其实是可以的,点击在如下图所示的按钮,可以查看你的stable diffusion已经安装了哪些模型。
在下载模型的时候,在模型所在的文件夹中,放入一张和模型名称相同的图片,那么这个图片成了模型的预览图了,而且,当你选中某个模型时,stable diffusion就会直接使用这个模型。效果如下:
到这里,你的stable diffusion就安装的差不多了,可以尝试的完成AI绘画了。
接下来,小编回答一下上面的的两个问题:操作控制台汉化和主题切换,同时演示一下 stable diffusion插件扩展功能。
切换方式很简单,只需要在访问地址后面拼接 “?__theme=dark” 即可,
完整地址如下:
http://localhost:7860/?__theme=dark
如果要切换成白色系,可以使用如下地址:
http://localhost:7860/?__theme=day
操作控制台汉化其实是使用了一种中文插件完成的,
具体操作步骤如下:
1.打开stable diffusion webui,进入"Extensions"选项卡
2.点击"Install from URL",注意"URL for extension’s git repository"下方的输入框
3.粘贴或输入本Git仓库地址https://github.com/VinsonLaro/stable-diffusion-webui-chinese
4.点击下方的黄色按钮"Install"即可完成安装。
5.点击重启UI。
6.点击"Settings",左侧点击"User interface"界面,在界面里最下方的"Localization (requires restart)“,选择"Chinese-All"或者"Chinese-English”
7.点击界面最上方的黄色按钮"Apply settings",再点击右侧的"Reload UI"即可完成汉化
到这里,你就完成完成stable diffusion的入门了,可以使用stable diffusion完成基本的绘图操作了,不过对于不是设计专业出身的老铁来说,想要完整的描述出自己想要的那副画面来说还是比较难的,也就是如何与stable diffusion进行高效的沟通,再直接一点就是如何写提示词。写提示词有一定的技巧,小编进过几天的探索,也总结出了一些行之有效的套路,会在下一篇文章中给大家分享,敬请期待。
这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
这份完整版的AI绘画资料我已经打包好,戳下方蓝色字体,即可免费领取!
CSDN大礼包:《全套AI绘画基础学习资源包》免费分享