Stable Diffusion AI绘画参数及原理

bingwangzi

1. 基础模型和外挂VAE模型
1.1 基本术语讲解

基础模型（大模型/底模型）：属于预调模型，它决定了AI图片的主要风格。

VAE模型：全称Variational auto enconder变分自编码器，它类似于图片生成后的滤镜。

“基础模型”和“外挂VAE模型”之间的区别：首先正常情况下，每个模型都是自带了一个VAE的，VAE虽然不是滤镜但可以把它们看做是一种类似于滤镜的效果。而在大模型内的VAE出问题了、坏了、或者是我们不满意的情况下，才需要使用外部手动进行VAE选择的VAE权重。

下载方式：大模型和VAE的下载我们可以从https://huggingface.co/，https://civitai.com/等网站进行下载，而在模型下载的时候需要留意其哈希值。因为有些模型可能名字不一样，但哈希值一样，这就意味着两者几乎没有区别。

1.2 不同基础模型的区别：

如左边是二次元风格，右边这个是写实风格，模型决定了基础的图像样子。

1.3 不同外挂VAE模型的区别：

左边这张图展示了是否外挂VAE的差别，可以看到在加载新的一个VAE模型后，图片变得清晰起来。

右边这张图展示了不同VAE模型下的图片差别，可以发现图片的展现效果不一样，“滤镜”效果不一样。

所以，选用不同的VAE模型在制图的过程中很有必要，具体选用哪个建议是用XYZ Plot（做出如图1-3的效果）选出你最喜欢的那一个。

2. clip终止层数（clip skip）

不过简单来说，我们可以将Stable diffusion理解为一个扩散模型（Stable：稳定的；diffusion：扩散），通过你所给的prompt词扩散出你想要的东西。

例如，当我们尝试生成一个人的插图时，会是这样的一个情况（当然，实际情况可能远比这个更复杂）：

为什么是到12层呢？因为在该版本的模型中，深度为12层。

而你想处理到那一层就是：clip的终止层数（clipskip）

• ClipSkip为1：处理到最后一层（即所有层）
• ClipSkip为2：处理到倒数第二层（忽略最后一层）
• ClipSkip为3：处理到倒数第三层（忽略最后和倒数第二层）
  

简言之，随着剪辑跳过的增加，要处理的层数逐渐减少。结果，详细信息被按顺序丢弃，没有反映的提示数量增加了。（一个词含有的意思很少，需要扩散来丰富）

3. 提示词与预设样式存储

这个网上讲的很多，这里就不再赘述了。总之，提示词需要具有一定的指向性和有效性，同时注意权重的搭配，以及英文输入。

权重改变格式：

（）：一个括号的权重提升1.1倍。（（））：两个括号的权重提升1.1^2倍。（prompt词：1.8）：该词权重提升1.8倍

这些键从左到右依次为：从提示词或上次生成的图片中读取生成参数、清空提示词内容、显示和隐藏扩展模型、将所选预选样式插入到当前提示词之后、将当前提示词存储为预设样式。

通过这些可以快速帮我们念咒语，做到无吟唱施法。

4. 迭代步数（采样步数）

首先，我们简单介绍一下stable diffusion的相关原理。这里简单地可以把模型理解为一个迭代过程——从文本输入生成随机噪声开始的重复循环，每一步都会消除一些噪声，并随着迭代步数的增加会产生更高质量的图像。而当完成所需的步骤数时，重复就会停止（可以结合第五节采样方式来看）。

一般来说，大约25个采样步骤（20个也可以）通常足以获得高质量图像，使用更多的步骤可能会产生略有不同的图片，但不一定有更好的质量。此外，当我们使用的步骤越多，生成图像所需的时间就越多。不过在大多数情况下，额外的等待时间是不值得的。

jandown

专业知识讲解，感谢！

whhhx7450

输入提示词后，有时发现生成图像时，动作乱跳，到最后才跟抽卡一样固定下形态来，感觉浪费了好多时间，是不是与TAG词的顺序有关