本地Stable Diffusion的部署与应用

第一节:命途坎坷部署路

起因:在setu群里面看到了一个大佬发的一个兔耳萝莉的照片,让我印象深刻。群里的大佬说这个一看就是AI生成的,之前我就见识过AI生成的二次元画像,但是确实没有见识过这种类似真人画风的图片

(此图片仅为展示,为AI生成)

本人大受震撼,并且表示现在已经发展到这种地步了吗,所以就利用了一段空余时间研究了一下,在此记录一下自己的学习心得体会。

首先是教程,这些东西教程到处都是,但是对于小白手把手从零开始的教程并不是很多。首先是在哔哩哔哩上面找到的这一个:https://www.bilibili.com/read/cv18936264
教程比较详细,本人就在这里不再过多赘述,主要将自己出现问题的步骤探讨记录一下。

首先是我的计算机
CPU为AMD的R5 5600打开PBO2
内存为海盗船3600 8g*2
显卡为七彩虹3060ti战斧
win11家庭版系统
软件放在固态硬盘中,全英文目录。
所有安装步骤在我的计算机上面并没有出现问题,在打开webui.bat之后,有一段非常漫长的加载过程,需要clone一些东西从github上面,但是即使是我打开了魔法上网,并且还打开Global模式之后依然不断的报错。

我提供的解决办法是1. 修改hosts文件,将github的ip地址手动加到hosts文件上。这样可以解决一定的问题。2. 手动打开一下报错的网页,然后重新打开webui.bat,此时也可以解决一部分的报错。3. 换个机场多试试。以上三个步骤本人都尝试了,然后就成功的部署在了本地,并且打开了webui的界面。
(热泪盈眶,要是一直报错我都以为我的AI之旅就到此结束了)

然后按住“唱跳rap篮球”键再点击里面提供的地址就可以直接进入webui了。此时部署已经成功了,接下来可以用官方给的模型搞一手试一试了。


第二节:仔细研究魔法课

由于我之前玩过deepfacelab,所以我知道肯定需要一个模型才能正常运转,于是从哔哩哔哩上面找到了这个教程:https://www.bilibili.com/video/BV1Se4y1s7S5
里面详细解释了咒语和模型的使用方法,对于我来说可谓是雪中送炭,接下来的一些操作抽空再更新
——23.02.02
OK了家人们开始更新了

从我开始找模型与分析咒语,我发现这地方需要分成两方面来看,一方面最重要的是模型,一方面是咒语。首先是模型:

模型:模型要放在这个位置:Stable Diffusion\stable-diffusion-webui\models\Stable-diffusion
一般是有ckpt和safetensors两种(还有vam等等一系列的我还没弄明白等我弄明白了再更新到这边)
视频教程里面给到的模型非常少,而且并没有我需要和我喜欢的东西,所以我自己加了一个群组来学习,找到了以下几个模型站

1.  https://civitai.com/  我的大部分模型都是从这个网站里面下载的,网站提供几种模型的类型,有普通的ckpt格式结尾的模型,但是这种模型作者可能会在里面插入恶性代码攻击电脑,所以还会提供一种safetensors格式的模型一般作者也会提供这种的模型。
2.  https://huggingface.co/models    每太用过,还在研究
3.  https://rentry.org/sdmodels
4.  https://economylife.net/ai-models-list/
以上四个是我自己收藏的,如果有更多的我还会更新在这里。
当下载完成模型之后,就可以将模型拷贝到上面的目录上,并不需要退出重新webui
点击模型旁边看起来刷新的符号刷新一下选择上,等待加载完之后就可以用了。



合成模型:
webui里面有个非常牛逼的东西就是两个或者三个模型合成一个模型,在以下这个选项卡里:
Checkpoint Merger

分别放入模型A和B之后选择权重,之后就可以合成了,可以自己试一试,挺有趣的。

魔法咒:魔法咒的写法非常有趣(必须是英文(应该不会有人真写中文吧)),可以用一句话
ex:A beautiful girl sitting in the middle of a classroom
或者是利用多种关键词来书写在各个关键词中间需要加英文逗号,同样是上一句做例子
ex:girl,beautiful,classroom  少了遣词造句的麻烦,这样更方便,每个词汇称之为一个tag。
接下来就可以运用一些好用的网站来让自己写咒语更方便了


https://tjsky.github.io/NovelAiTag/
这个网站可以自动生成一些tag,直接复制过去就可以了,非常的方便。


好了,现在有了tag之后,如果想让一个tag更强力,这时候就可以使用以下的一些技巧了(以下部分摘录于另一个教程,感谢“秋风于渭水”大佬,此处仅将本人觉得很重要的问题放在这里,更多教程请去大佬主页研究)。
https://www.tjsky.net/tutorial/488#_Prompt
1.  分隔:不同的关键词tag之间,需要使用英文逗号,分隔,逗号前后有空格或者换行是不碍事的
ex:1girl,loli,long hair,low twintails(1个女孩,loli,长发,低双马尾)

2.  混合:WebUi 使用 | 分隔多个关键词,实现混合多个要素,注意混合是同等比例混合,同时混。
ex: 1girl,red|blue hair, long hair(1个女孩,红色与蓝色头发混合,长发)

3.  增强/减弱:有两种写法
第一种 (提示词:权重数值):数值从0.1~100,默认状态是1,低于1就是减弱,大于1就是加强
ex: ,(loli:1.21),(one girl:1.21),(cat ears:1.1),(flower hairpin:0.9)

第二种 (((提示词))),每套一层()括号增强1.1倍,每套一层[]减弱1.1倍。也就是套两层是1.1*1.1=1.21倍,套三层是1.331倍,套4层是1.4641倍。
ex: ((loli)),((one girl)),(cat ears),[flower hairpin]和第一种写法等价

所以还是建议使用第一种方式,因为清晰而准确

4.  渐变:比较简单的理解时,先按某种关键词生成,然后再此基础上向某个方向变化。
[关键词1:关键词2:数字],数字大于1理解为第X步前为关键词1,第X步后变成关键词2,数字小于1理解为总步数的百分之X前为关键词1,之后变成关键词2

ex:a girl with very long [white:yellow:16] hair 等价为
开始 a girl with very long white hair
16步之后a girl with very long yellow hair
ex:a girl with very long [white:yellow:0.5] hair 等价为
开始 a girl with very long white hair
50%步之后a girl with very long yellow hair

5.  交替:轮流使用关键词
ex:[cow|horse] in a field比如这就是个牛马的混合物,如果你写的更长比如[cow|horse|cat|dog] in a field就是先朝着像牛努力,再朝着像马努力,再向着猫努力,再向着狗努力,再向着马努力

一些小注意事项:
1. tag尽量控制在75个(100个)以内。
2. 越关键的词,越往前放,这样可以先生成。
3. 相似的同类,放在一起。
4. 只写必要的关键词。

只有写好了咒语之后,才能生成更好的图片,一般来说大家玩的都是咒语,而不是模型,训练模型本人还没有完全研究透,等研究透了再更新(感觉这玩意坑越挖越大了)
————23.02.04

评论

此博客中的热门博文

EART60071 Practical Computer language

EART60061 Measuring and Predictiong