浅玩AI绘画 浅玩AI绘画
首页
stable-diffusion-webui
博客 (opens new window)
首页
stable-diffusion-webui
博客 (opens new window)
  • 指南

    • preface
    • 开始
  • 界面功能

    • 界面元素
    • 关于模型
      • sd模型
      • VAE
      • Embedding
      • LoRA ⭐️
      • hypernetworks
      • 模型使用技巧
    • 关于提示词
  • 插件

    • 关于插件
    • UI辅助
    • 控图
  • 实战

    • AI图片上色
    • 制作AI网红
    • AI模特+商品结合
目录

关于模型

由于历史原因和发展历程所致,AI模型种类较多;大概的历程如下:

1、开始时,从无到有训练一个模型成本非常高,基本只有官方在训练,大家都是在官方模型的基础上微调。就这样不同的大模型诞生了(checkpoint)。

2、每次调整大模型太麻烦了;有时只是想对某方面进行调整而已,却要一整个大模型调参,这太糟心了,于是embedding诞生。

3、再后来,LoRA和hypernetwork相继出现;

4、现在,LoRA已占据半壁江山

# sd模型

Stable Diffusion 模型(ckpt)/Stable Diffusion checkpoint
又叫SD模型,大模型

  • 文件格式: ckpt 和 safetensors(安全包)
  • 文件位置: /models/Stable-diffusion

# VAE

VAE (Variational Auto-Encoder ,变分自动编码器)

  • 文件格式: 后缀一般为.pt格式
  • 文件位置: /models/VAE

该选项在选择大模型的旁边;

界面没有VAE选项的,开启方式为:
设置→用户界面→快捷设置列表在框里输入sd_model_checkpoint,sd_vae 点击上面应用,再重载ui

主要作用是:滤镜+微调, 会影响出图的画面的色彩和某些极其微小的细节。

一般大模型都是内置了训练好的VAE模型的,不用我们再额外挂载
如果想用别的,可以去Hugging Face社区下载

# Embedding

嵌入式(Embedding)/Textual Inversion

  • 文件后缀一般为.pt,少部分为.bin
  • 文件位置: /embeddings

Embedding不会向你的模型添加任何外来的信息和概念,可以把它理解为一个浓缩后的提示词,只不过这个提示词是通过图片引导训练得出的。
也就是将提示词打包。

  • Embedding文件通常不大,几十K不等
  • 有一部分Embedding需要放在反面提示词来使用,作用是提高图片输出的质量和稳定性

# LoRA ⭐️

LoRA (Low-Rank Adaptation)是一种用于微调稳定扩散模型的训练技术,其文件大小和训练能力之间达到了良好的平衡。

  • 文件后缀一般为.safetensors
  • 文件位置于:/models/Lora

Lora文件大小和使用效果无关

  • LoRA模型大小在几十mb到两三百mb不等
  • 部分Lora会需要触发词来使用,否则效果不明显(c站点进LoRA模型的详情,可以在右边卡片中看到Trigger Words,即是该LoRA模型的触发词)

# hypernetworks

初认识,可以把它当低配版Lora看;它主要是训练画风,但难度较大,可能会被LoRA淘汰。

文件后缀一般为.pt 文件位置:/models/hypernetworks

目前最好用的就是用来做风格转化,比如转像素风,转表情包风格 (opens new window)等;

# 模型使用技巧

  • 在c站上看到喜欢图片的时候,除了留意参数外,还要留意它使用的『SD模型』和『LoRA模型』,因为LoRA模型在训练的时候,会使用大模型,使用配套的大模型,出图效果更好。
  • 使用LoRA模型,权重值建议不超过1,超的越多,基本图越差。
  • 使用多个LoRA模型,权重值建议加起来不超过1。
  • 新手不建议使用多个LoRA模型,尤其是风格不一的那种。
  • 使用多个LoRA模型,需要对LoRA模型有一定的机制了解,多个LoRA使用时,分层调权重才可能出好图。
上次更新: 2023/04/23, 02:15:54
界面元素
关于提示词

← 界面元素 关于提示词→

Theme by Vdoing | Copyright © 2023-2023 EasyAI
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式