Stable Diffusion体验（本地部署篇）

安装

开始部署前如果python版本不是3.10.6建议卸载重装python，因为是stable官方推荐使用版本，不这样的话很容易报错而且是一个接一个（血泪教训）

  • 步骤： 首先将clone项目到本地，然后进入主文件夹并运行webui-user批处理程序
    此时会创建一个venv的虚拟运行环境（虚拟环境中的pip与python程序是系统的镜像，所有关于Stable diffusion的依赖都必须使用虚拟环境的python以及pip进行下载，切记使用全局环境的pip下载成无效）
    安装完成后重新运行webui-user，出现下图时，就可以直接在http://127.0.0.1:7860 访问可视化界面了

Docker部署请参考：https://juejin.cn/post/7235083283133530170

异常处理

首次运行建议科学上网，因为有需要从github下载的模块，当然也可以修改launch.py中的github替换为代理地址
如果出现error pip install ...的错误，则需要进入venv/Scripts/使用该文件夹下的python以及pip下载对应插件 F:\\stable-diffusion-webui\venv\Sctipts\python.exe -m pip install ...
如果出现clip安装失败，需要先将https://github.com/mlfoundations/open_clip复制到本地然后将其放在F:\\stable-diffusion-webui\venv\Sctipts文件夹下，进入文件夹运行F:\\stable-diffusion-webui\venv\Sctipts\python.exe setup.py build install，然后回到主文件夹运行webui-user.bat，如果还是报错则需要使用 F:\\stable-diffusion-webui\venv\Sctipts\python.exe -m pip install open-clip然后运行

开启后如果设置或者加入提示词时报error column 1...的错误则需要关闭代理重启模型
请关注详细的报错提示，大多数错误都有提示解决办法，建议耐心看完

  • 注意：使用前必须设置启动参数，不然用以显存爆表

  • 自用启动参数：

    1
    2
    3
    4
    5
    6
    7
    8
    @echo off

    set PYTHON=
    set GIT=
    set VENV_DIR=
    set COMMANDLINE_ARGS= --opt-sub-quad-attention --medvram

    call webui.bat

使用

非训练方式使用很简单使用默认的模型点击生成后即可等待出图，如果使用模型则需要在https://civitai.com 安装需要的大模型放在.\models\Stable-diffusion文件夹下，也可以使用其他例如LORA等模型进行生成

如果遇到问题建议去问chatgpt或者claude，效率应该比直接google高

关于提示词

负面提示词

  • 通用负面提示词: 
    1
    2
    3
    4
    5
    6
    (deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), 
    text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, 
    morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, 
    deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, 
    gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, 
    too many fingers, long neck
  • 正面提示词
    利用chatGPT生成正面提示词的方法，将下面这段描述发给GPT-4即可
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    以下提示用于指导Al绘画模型创建图像。它们包括人物外观、背景、颜色和光影效果，以及图像的主题和风格等各种细节。
    这些提示的格式通常包括带权重的数字括号，用于指定某些细节的重要性或强调。
    例如，"(masterpiece:1.4)"表示作品的质量非常重要。以下是一些示例： 
    1.(8k, RAW photo, best quality, masterpiece:1.2),(realistic, photo-realistic:1.37), ultra-detailed, 
    1girl, cute, solo, beautiful detailed sky, detailed cafe, night, sitting, dating, (nose blush), 
    (smile:1.1),(closed mouth), medium breasts, beautiful detailed eyes, (collared shirt:1.1), bowtie, 
    pleated skirt, (short hair:1.2), floating hair, ((masterpiece)), ((best quality)), 2.(masterpiece, 
    finely detailed beautiful eyes: 1.2), ultra-detailed, illustration, 1 girl, blue hair black hair, 
    japanese clothes, cherry blossoms, tori, street full of cherry blossoms, detailed background, realistic, 
    volumetric light, sunbeam, light rays, sky, cloud, 3.highres, highest quallity, illustration, cinematic light, 
    ultra detailed, detailed face, (detailed eyes, best quality, hyper detailed, masterpiece, (detailed face),
    blue hairlwhite hair, purple eyes, highest details, luminous eyes, medium breats, black halo, white clothes, 
    backlighting, (midriff:1.4), light rays, (high contrast), (colorful). 仿照之前的提示，写一段描写如下要素的提示：车水马龙的城市
  • 通用反向提示词（2）
    1
    2
    3
    4
    5
    6
    7
    lowres,bad anatomy,bad hands,text,error,missing fingers,
    extra digit,fewer digits,cropped,worst quality,
    low quality,normal quality,jpeg artifacts,signature,
    watermark,username,blurry,missing arms,long neck,
    Humpbacked,missing limb,too many fingers,
    mutated,poorly drawn,out of frame,bad hands,
    unclear eyes,poorly drawn,cloned face,bad face

汉化

参考文献

教学文档参考

https://www.tjsky.net/tutorial/457#i-3 很详细的教学，有详细的参数，共4篇建议详细研读

模型推荐

人物模型（亚洲审美）：https://civitai.com/models/6424/chilloutmix