AI绘画工具与流程导论

此处鸣谢：

B站ID：秋叶akki，赛博佛祖，免费提供SD整合包，部分教程，降低AI绘画门槛。

B站ID：Nenly同学，匆匆and甜甜等赛博菩萨，免费提供完整，准确，精美的教程，本期导论基于其教程加上本人浅显的经验总结。

除此之外，鸣谢每一位开源者，不断迭代AI绘画进步的程序人，以及为降低AI绘画入门门槛而言传身教者。

1.历史概述（不想看可略过到2）

AI绘画的概念，想必各位这几年已经听得烂透，我便不再重述，最近AI绘画在经历了control net以及各个版本插件迭代后，基本进入了一个稳定的版本，工作流程也基本确定。

一个合格的流水线，首先要确定的就是一套完整的流程，只有在流程确定之后，才能让工人们各司其职，输出令人满意的产品。

AI绘画，从2022年之初以来就以“不确定”闻名，说难听点叫抽大奖，因为其图生文模型CheckPoint以及配套VAE的不确定性只能依靠文字来限定，即使能够以图生图的方式进行二次迭代，但也是以抽奖的方式，通过大模型不断抽奖，属实是算不上什么“高效”的生产机器，此时的AI绘画被称为

大模型时代。

庞大的模型让各个使用者非常头疼，相比起现在4-8G的中规模大模型，以前的模型动不动就十几个G，包含了大量的图片解算数据，这就带来了第一个问题，大模型的数据大差不差，如果只是换一个画风，就必须要加一大种训练数据，那到最后模型只会庞大得令人发指。

大模型带来的第二个问题就是训练者的限制，越大的模型训练需要的显存和显卡要求就越高，以目前AI的进步，4090被爆显存也是轻轻松松，4090在steam硬件统计中持有率也仅为0.4%，如此下去很快就面临只能通过大型矿站才能训练模型的境地——然而这是不可能的，因为AI绘画开源意味着几乎没有收益。

就在此时，微软研究员提出了一个新的方案，AI绘画得以模块化迅速发展，由此进入了第二个时代

Lora时代。

LORA（Low-Rank Adaptation of Large Language Models，大型语言模型的低秩适应）模型最早并非使用在AI绘画上，而是使用在诸如GPT－2模型上，从大型模型中得到的回复并不尽如人意，因此大模型工程师想到利用大模型的增补模型进行模型微调，意外得到了较为满意的成果。

作为增补模型，Lora并不需要大模型那种庞大的体型，它更像是PS里的滤镜，负责给大模型出图的部分进行风格化，特殊化，精确化的工作，因此它只要少部分模型进行训练，将模型的风格以及特化部分能够精确限制大模型就可以了，基本上最大的Lora也不会超过200MB。

Lora的主要作用相当于一个书签，而大模型就是一个字典，它单独的时候并没有什么作用，但当它在字典里的时候，就能为你精确的翻阅到字典的对应页码。

现在你在任意一个AI绘画的论坛分享站，看到的绝大部分都是Lora模型。

墨幽大佬的人造人，几乎以假乱真，非常优秀的大模型

majicMIX realistic 麦橘写实

麦橘大佬的底模有不错的光照效果

无论是使用什么模型，一定要注意一点，那就是要看别人模型底下的文字描述！

作为一个初次使用别人模型的使用者，你对模型的了解是无法高于作者的，因此模型作者的描述和生成例图的信息就是你参考的最好例子，可以针对性的先跑几次熟悉大模型，确定大模型会出什么样风格的画。

墨幽大佬的模型描述

确定所使用的大模型之后，我们就可以继续推进，开始朝着自己想要画的方向描述，这一阶段就是魔咒，也是大多数人最头疼的阶段。

魔咒，永远的痛

在此推荐各位使用edge的一个DiffusionDraw插件，虽然这个插件是我刚刚说过魔改过的那种AI绘画，但是他内置了一个好东西，那就是咒语生成器，而且其默认的负面提示词也相当适用。

DiffusionDraw，一个绘画图一乐的edge插件，但是其咒语生成器非常可靠

DiffusionDraw的咒语生成器remaker.ai，能够辅助叠加权重，有大量提示词辅助你绘画。

除此之外，其他魔咒网站也相当不错，例如鳖哲AITag法典等一些用爱发电的网站，魔咒的学问也挺高深，建议各位自己找找视频，早日成为卡尔。

AITag.icu，等等里面好像混入了一些奇怪的提示词

确定了模型，魔咒方向之后，我们就可以

选择Lora，进行风格化了。

Lora的选择

在LIBLIB中添加入库，刷新SD页面后点击就可以使用Lora，可以通过拖动或者修改数字的方式来确定Lora的权重，注意，你不能3D的大模型用二次元的Lora，尽量使用统一种类的Lora，除非你想生成虚空和古神那当我没说。

Lora也要看对应Lora作者的描述，大多数作者会告诉你最佳的或者比较适合的权重大概是多少，当然这只是参考，Lora和大模型不一样，同一张画是可以使用多个Lora的，例如我可以给一幅画加上“夜空梵高风”权重0.2，再加上“波光粼粼”0.3，如此以来就可能能获得一张背景有梵高的夜空风格，且人物与云边波光粼粼（听起来很违和但是AI会调整得相对不那么违和）的画。

随便跑的，带0.6放大步骤10，AD修复脸部，大模型为《唯》系列炫彩动漫，LORA为上述两个，迭代步骤40

在调整出图的时候，一般会采用一种形式，那就是512×512分辨率先进行抽奖，在抽到动作，构图都比较符合的情况下时，再进行图生图操作细化，这也是一种相对稳定的流程，且由于训练时大多数LORA与大模型就是采用的512分辨率训练，反而出图的精度会相对高一些。

不过在网页上没法使用超分插件，再加上有出图限制，我懒人一个，干脆直接一步到位，确认画风之后开放大超分来抽奖直接抽1920*1280分辨率的图。

网页的参数页，本地SD也有一模一样的参数页

参数页的调整具体要根据你的Lora和大模型上的描述进行，冲突的话优先大模型，在此我仅讨论看不懂大模型，Lora的时候，按经验来说的情况。

采样方法使用带Karras屁股的基本没错，实际采样方法对出图影响不会特别大。

迭代步骤是AI绘画迭代的次数，在本地中迭代次数越多显存占用越大，运算也越慢，因此一般在20-50之间，如果想要细腻的话尽量高于35，但是也不要无脑拉高，否则过拟合一样不好看。

面部修复，平铺图和高分修复代表着出图时的部分优化或者分辨率扩大，在此着重点一下高分辨率修复，在勾选了高分辨率修复后，会出现“重绘采样步骤”和“重绘幅度”“放大算法”以及“放大倍率”。高分修复实际上是要针对你迭代出来的图纸进行重绘以完成扩大的过程，该过程会根据你重绘幅度的大小添加各种细节（也有可能是污染你原本的画）而放大倍率则是代表你将原本的画放大拉宽到多少分辨率，在此建议是尽量按整数倍数放大，不然容易出现一部分好，另一部分非常古神的情况。放大算法代表你采用什么样的算法来进行放大计算，一般情况下选择那几个xxxx_4X的都没错，放大运算不会影响很大，当然这个也要注意看模型作者的描述，有一些按对方说的选择放大算法有奇效。

生成批次与每批数量，这里可能各位都觉得“不就是出几张图嘛”其实不然，如果你是本地SD，选每批数量的话每一批的多张绘画都会单独占用多次显存，非常容易炸显存，拉到10张高分图就算你是24G的4090都得炸，因此建议是调整生成批次，让每一张生成的图纸都单独占用一次显存。

随机数种子在-1时相当于抽奖，如果你有对应的种子（上次的画）那么写入后生成的画就更倾向于生成原本的那一幅画，当然实际上也只是限定了范围的抽奖，再怎么抽基本也抽不回原本那一幅。

其实到这里基本上就是普通网页的简易炼丹炉所用的路数了，接下来是进行

细化与调整。

ADetailer是一种在绘画中辅助的插件，它能直接在迭代过程中检测面部，手部并进行局部重绘，在开启之后能够大大避免面部或者手部的崩坏（落泪，有时候单纯脸崩或手崩的时候真的心累），其提示词随便找几个负面补上，或者特化面部的提示词修改例如Bule eyes之类的，它进行面部修改之后再加AI迭代基本会完美契合，而不像后续用涂鸦图生图之类会有一些细微的蒙版导致图需要再进行一次重新迭代。

ADetailer以及其参数

ControlNet

强大的工具，其预处理能力赋予了SD精确的控图能力，让SD能够成为真正的生产工具，本次只会介绍几个用的多的部分。

ContorlNET之所以强大，是因为它能够叠加作用，并且可以导出到PS进行修改，在修改之后再导入进行精确控图。至于资源占用的话，实测情况下，我家用的8G 3060TI的凄惨红显卡同时跑超分到1920*1080单图加上三个ContorlNET都是完全没有问题的，四个偶尔会炸一下显存。

ControlNet工具：ContorlPose

ContorlPose(姿态控制)能够控制人物的动作姿态，让人物的表情，动作，能够确定性的保持，这对于原本AI绘画左一个上天右一个下地的画来说相当痛苦，现在只要有一张参考画，你就能通过参考画进行骨骼提取，包括面部，至少抽奖也能保证抽到的都是一个动作了。

在选择预处理器为ContorlPose（对应功能，例如面部和动作）打开“允许预览”之后，在Model选择对应的模型（ContorlPose就为openpose模型），点击中间红色爆炸按钮，就能够看到对应人物的动作骨骼，我们也可以单独保存预览骨骼，下一次直接导入预览骨骼到ContorlPose中也可以直接使用。

接下来就是调整权重和步数，以及模型参入权重，控制权重影响骨骼对其画面的影响程度，如果要想再其基础上自由发挥一点，可以适当调低，选择更倾向于自由发挥。

ControlNet工具:Canny

Canny(边缘描绘)能够控制AI生成作品的边缘，在稍作修改的情况下可以生成作品的线稿，如果你对你的画作不满意，或者需要进行二次上色，都可以借助Canny进行二次重绘，这是一个相当有意思的工具。

ControlNet工具:depth

Depth(景深描绘)能够控制AI生成作品的深度，如果你需要生成一张风景画，那么你最需要的其实是控制景深与画面结构，该工具能够帮助你方便地控制AI生成的画面，保证AI大体画面结构不会变动。

总结

AI绘画，发展一年有余到现在，已经是相对成熟的流程，我们也能看到各种各样的AI绘画，再怎么去否认，它也已经融入我们的生活成为我们的一部分，现在很多绘画者也打不过就加入，将自己的画训练为LORA然后再进行修改或者辅助上色，希望这篇文章能够给想要入门，却无处入门的人一点帮助。

#ai人工智能##ai绘画#