关于模型
由于历史原因和发展历程所致,AI模型种类较多;大概的历程如下:
1、开始时,从无到有训练一个模型成本非常高,基本只有官方在训练,大家都是在官方模型的基础上微调。就这样不同的大模型诞生了(checkpoint
)。
2、每次调整大模型太麻烦了;有时只是想对某方面进行调整而已,却要一整个大模型调参,这太糟心了,于是embedding
诞生。
3、再后来,LoRA
和hypernetwork
相继出现;
4、现在,LoRA
已占据半壁江山
# sd模型
Stable Diffusion 模型(ckpt)/Stable Diffusion checkpoint
又叫SD模型,大模型
- 文件格式:
ckpt
和safetensors
(安全包) - 文件位置:
/models/Stable-diffusion
# VAE
VAE (Variational Auto-Encoder ,变分自动编码器)
- 文件格式: 后缀一般为
.pt
格式 - 文件位置:
/models/VAE
该选项在选择大模型的旁边;
界面没有VAE选项的,开启方式为:
设置→用户界面→快捷设置列表在框里输入sd_model_checkpoint,sd_vae
点击上面应用,再重载ui
主要作用是:滤镜+微调, 会影响出图的画面的色彩和某些极其微小的细节。
一般大模型都是内置了训练好的VAE模型的,不用我们再额外挂载
如果想用别的,可以去Hugging Face社区下载
# Embedding
嵌入式(Embedding)/Textual Inversion
- 文件后缀一般为
.pt
,少部分为.bin
- 文件位置:
/embeddings
Embedding不会向你的模型添加任何外来的信息和概念,可以把它理解为一个浓缩后的提示词,只不过这个提示词是通过图片引导训练得出的。
也就是将提示词打包。
- Embedding文件通常不大,几十K不等
- 有一部分Embedding需要放在反面提示词来使用,作用是提高图片输出的质量和稳定性
# LoRA ⭐️
LoRA (Low-Rank Adaptation)是一种用于微调稳定扩散模型的训练技术,其文件大小和训练能力之间达到了良好的平衡。
- 文件后缀一般为.safetensors
- 文件位置于:
/models/Lora
Lora文件大小和使用效果无关
- LoRA模型大小在几十mb到两三百mb不等
- 部分Lora会需要触发词来使用,否则效果不明显(c站点进LoRA模型的详情,可以在右边卡片中看到Trigger Words,即是该LoRA模型的触发词)
# hypernetworks
初认识,可以把它当低配版Lora看;它主要是训练画风,但难度较大,可能会被LoRA淘汰。
文件后缀一般为.pt
文件位置:/models/hypernetworks
目前最好用的就是用来做风格转化,比如转像素风,转表情包风格 (opens new window)等;
# 模型使用技巧
- 在c站上看到喜欢图片的时候,除了留意参数外,还要留意它使用的『SD模型』和『LoRA模型』,因为LoRA模型在训练的时候,会使用大模型,使用配套的大模型,出图效果更好。
- 使用LoRA模型,权重值建议不超过1,超的越多,基本图越差。
- 使用多个LoRA模型,权重值建议加起来不超过1。
- 新手不建议使用多个LoRA模型,尤其是风格不一的那种。
- 使用多个LoRA模型,需要对LoRA模型有一定的机制了解,多个LoRA使用时,分层调权重才可能出好图。