AI 绘画整体认知

1、一群研究员开始尝试用文本生成图像（2015年）

OpenAI 宣布了 dalle，他们声称可以从任何文字中创建图像

2、DALL-E（2021年1月）

开源社区基于 Google Colab，根据现有的所有已知的技术模型，制作各种各样的开源文本图像生成器。

大多生成的图像非常抽象，像素也比较低

3、开源社区训练自己的AI生成器（2021->）

发布于 Google Colab 平台的一款利用人工智能深度学习进行数字艺术创作的工具，它是基于MIT 许可协议的开源工具可以在Google Drive 直接运行，也可以部署到本地运行

缺点：速度非常慢，动辄 半个小时起步

4、Disco Diffusion（2022年2月）

OpenAI 推出 DALL-E 2 实现了更高分辨率和更低延迟，而且还包括了新的功能，如编辑现有图像。

官网：https://openai.com/dall-e-2/

优点：生成内容近乎完美，难以区分是人类还是AI作品

缺点：未公开算法和模型、需要体验资格且通过率很低、有很多限制（死亡，色情，人脸，暴力，公众的人物等。为了防止作恶/犯罪）

5、DALL-E 2（2022年4月）

stability.ai（一个年轻的英国团队） 推出 Stable Diffusion 并且开源

优点：图像媲美 dalle2 精度、开源、免费、操作简单，生成速度快（平均10-20秒）

6、Stable Diffusion（2022年7月）

发展时间线

优点：在线（无需技术背景，注册即可使用）

官网：https://www.midjourney.com/

由 Disco Diffusion 的核心开放人员参与开发的AI生成器

介绍：它是一款搭载在discord上的聊天机器人程序，不需要之前繁琐的操作，也没有DD十分复杂的参数调节，你只需要向mid输入文字就可以生成图像。而且mid的模型更加的精准，dd只能生成抽象的风景，但是mid在人像上也能表现的比较好。它是一个社区形式的产品。跟DD每个人都是独立创作不同，在mid上所有人的作品都是公开的，你用的提示词和相关的作品都是对社区里所有人可见的，你再也不需要问其他人这幅画用了什么提示词？这个特性让社区每天都不断的涌现越来越多优秀的作品和创意，每个人都可以尽情的学习他人的作品。

特点：速度快（改进了 Disco Diffusion，平均1分钟能出图）

限制：使用限制（免费版用户每月有限定的使用次数，付费版用户每个月需支付 30 美元）

1、Midjourney（2022年3月内测，5月Beta版）

基于 Disco Diffusion

官网：https://labs.openai.com/

缺点：无额外配置参数

1、试用

基于 Dall-E 2

官网：https://beta.dreamstudio.ai/dream

Stable Diffusion 官方 搭建的平台

限制：使用限制（需要积分，1000积分/10$，若为默认设置，可生成约5000张图，注册实际赠送了100积分）

1、DreamStudio（2022年8月开放测试）

基于 Stable Diffusion

使用已有的AI绘画云平台（目前国内外有很多）（这里只举几例）

官网：https://colab.research.google.com/

Google Colab 是一个在线的 Jupyter Notebook 环境，提供免费的 Python 环境，可以在上面运行 Python 代码，并在 Google 的云端进行计算。因此，AI 开发者可以使用 Google Colab 来进行机器学习和数据科学等相关领域的研究和开发。例如，AI 开发者可以在 Google Colab 上安装必要的 Python 库，并导入数据集，进行数据预处理和探索性分析。然后，可以在 Google Colab 上实现并训练机器学习模型，并使用 TensorBoard 等工具进行模型可视化。最后，可以在 Google Colab 上对模型进行评估和优化，并将模型部署到产品中。此外，AI 开发者还可以在 Google Colab 上进行论文代码的复现和实验，或者利用 Google Colab 的云端计算能力，对大型数据集进行处理和分析。总的来说，Google Colab 为 AI 开发者提供了一个方便、快捷的编程环境，可以更快速、更高效地进行机器学习项目的开发。

简单点说：使开发者可在浏览器中编写、记录和执行 Python 代码，并可利用免费的 GPU 进行 AI 模型训练等计算操作。

“免费”：是有使用量限额的，超出后需要等一段时间才能再用。或者 购买 Pro 版本 $9.9/月。

Google Colab

Jupyter Notebook 是一种交互式计算环境，它允许您在一个文档中编写和执行代码，并在同一文档中添加文本、数学方程式、图形和其他内容。您可以在 Jupyter Notebook 中使用多种编程语言，包括 Python、R、Julia 和许多其他语言。Jupyter Notebook 的文档格式称为“笔记本”，可以用于数据清洗、计算和可视化，并且可以在不同的应用程序之间共享。Jupyter Notebook 为您提供了一个灵活的开发环境，您可以使用它来探索数据、开发机器学习模型和进行其他类型的数据分析工作。

Google Colab 是一个在线的 Jupyter Notebook 环境。

Jupyter Notebook

.ipynb 是一种文件扩展名，它表示这是一个Jupyter Notebook文件。.ipynb 文件可以通过 Jupyter Notebook 软件打开，并且可以通过导出为其他格式（如HTML、PDF等）来分享和发布。

用户可以通过 Google Colab 打开 .ipynb 文件，并在云端进行编辑和运行。用户可以在 Google Colab 中创建新的 .ipynb 文件，或者将已有的 .ipynb 文件上传到 Google Colab 中进行编辑和运行。用户还可以通过 Google Colab 将 .ipynb 文件保存到 Google Drive 或其他云存储服务中，以便在其他地方继续编辑和运行。

.ipynb 文件

官网：https://huggingface.co/

Hugging face 是一家总部位于纽约的聊天机器人初创服务商，开发的应用在青少年中颇受欢迎，在上面存储了大量的 AI 模型。

模型、参数、架构、（模型）训练过程、训练数据、（模型）推理过程、微调技术等

模型是什么？需要了解AI领域的一些概念

StabilityAI、Runway ML、CompVis，都是 Stable Diffusion 参与者，似乎有版权纠纷

几个重要作者机构/公司/单位

https://huggingface.co/CompVis/stable-diffusion-v1-4

Stable Diffusion 1.4（CompVis）

https://huggingface.co/runwayml/stable-diffusion-v1-5

Stable Diffusion 1.5（runwayml）

https://huggingface.co/stabilityai/stable-diffusion-2

Stable Diffusion 2（stabilityai）

https://huggingface.co/acheong08/secretAI/resolve/main/stableckpt/animefull-final-pruned/model.ckpt

novelAI（官方似乎并未开源）（直接下载地址）

相关模型地址

通常，自己部署下载模型时，需要输入 token（点击头像/Settings/Access Tokens/）

Hugging face

AI 绘画中的 webui 是指将人工智能绘画技术应用到网页应用程序中的一种技术。它通常使用机器学习技术，例如神经网络，来学习如何进行绘制。用户可以通过在网页上绘制或输入文字来启动 AI 绘画功能，人工智能系统将根据用户的输入自动生成绘画。这种技术可以帮助人们快速创作绘画，也可以用来探索人工智能在艺术领域的应用。

概念

https://github.com/alembics/disco-diffusion（官方）（可在 Google Colab 中选择 Github 输入链接部署）

Disco Diffusion 相关

https://github.com/CompVis/stable-diffusion（官方）（可在 Google Colab 中选择 Github 输入链接部署）

https://github.com/Sygil-Dev/sygil-webui（含一些上层逻辑，包括优化/调整的工具，如 GFPGAN、RealESRGAN 等）（可在 Google Colab 中选择 Github 输入链接部署）

https://github.com/altryne/sd-webui-colab（已经标为废弃，请使用 sygil-webui）（可在 Google Colab 中选择 Github 输入链接部署）

https://github.com/AUTOMATIC1111/stable-diffusion-webui（需要手动部署）

Stable Diffusion 相关

开源方案

https://colab.research.google.com/

打开 Google Colab

在左上角依次点击 文件/打开笔记本/Github

输入Github中的开源方案的链接

点击下方出现的 .ipynb 文件打开

Google Colab 中 打开开源方案的步骤

AI 绘画 webui

自己部署必须了解

优点：使用无限制、自己跑模型的方式生成的图片，版权归属于你自己

限制：Google Colab 分配给个人免费的机器配置基本都不高，生成效率低；且有使用量限制，超出后无法使用或需要付费才能继续使用

在免费的 Google Colab 上，运行一个写好的笔记文件（.ipynb文件），以搭建一个AI绘画环境（如 Stable Diffusion及相关工具），以及用来操作它的在线用户界面服务（WebUI）

一句话简述云端部署原理

其内部使用的模型是 Stable Diffusion1.4。也可以通过修改其脚本使用别的模型，如 NovelAi /Stable Diffusion/1.5/2.0（个人猜测）

https://www.processon.com/view/62d54be8e401fd516fc3cd85

详细搭建步骤（NRatel的子脑图）

sd-webui-colab 搭建

搭建步骤和上面基本类似

https://www.processon.com/view/62d54be8e401fd516fc3cd81

功能了解（NRatel的子脑图）

sygil-webui 搭建

基于 Stable Diffusion（推荐）

自己部署AI绘画云平台

优点：使用无限制、自己跑模型的方式生成的图片，版权归属于你自己；生成效率取决于自己的显卡好不好

注意直接勾选 添加环境变量，否则还要手动添加

0、安装 Python 3.10.x

1、在 Google Colab 上，连接本地运行时，弹出确认框，先阅读其中内容

https://research.google.com/colaboratory/local-runtimes.html

2. 按照 这些说明 创建本地连接

http://jupyter.org/install

注意，其中包含 Jupyter Lab、Jupyter Notebook 和 Voila

需要了解，JupyterLab 是包括了 Notebook 的下一代用户界面

3、按照此说明安装 Jupyter

4、安装并启用 jupyter_http_over_ws jupyter 扩展程序（一次性）（cmd 中输入下方两个命令）

    pip install jupyter_http_over_ws

    jupyter serverextension enable --py jupyter_http_over_ws

5、启动服务器并进行身份验证（cmd 中输入下方命令）

    jupyter notebook --NotebookApp.allow_origin='https://colab.research.google.com' --port=8888 --NotebookApp.port_retries=0

此时的 cmd 窗口中会出现一个地址：http://localhost:8888/?token=0743557fcc3f7495b05c668dee4df713238415c6e848e68c

6、在弹出确认框中输入该地址，并点击连接按钮，完成连接

7、运行 笔记本文件（一堆报错。。放弃）

本想在 Google Colab 上，连接本地运行时（本地安装的 Jupyter Notebook 服务器），执行 ipynb 文件 进行部署，但似乎其依赖 Google Colab 云环境，所以没有成功。（这里只是记录一下 Google Colab 连接本地运行时 的过程）。

https://github.com/Sygil-Dev/sygil-webui

https://sygil-dev.github.io/sygil-webui/docs/Installation/one-click-installer

根据其文档进行部署

sygil-webui

https://github.com/AUTOMATIC1111/stable-diffusion-webui

https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/

（常见错误）https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Troubleshooting

按照其 ReadMe 及 wiki 中所述进行部署

0、确保满足所需的依赖项，并遵循 NVidia (推荐) 和 AMD gpu可用的说明。

1、安装  Python 3.10.6，并勾选 \"Add Python to Path\"

可以用 git 下载 或 直接 Download Zip后解压

2、下载 stable-diffusion-webui 到本地

3、将 model.ckpt（模型文件）放到 stable-diffusion-webui/models/Stable-diffusion/ 目录下

4、（可选）将 GFPGANv1.4.pth 放到 stable-diffusion-webui/ 下

注意，Python版本必须是 3.10.6，否则会各种报错。（wiki中也说了，不要用其他版本，除非你自找麻烦）

注意，在每个 Installing xxx、Cloning xxx 处都可能会等待很久，因为下载、拷贝需要时间，有的较大，保持网络良好并耐心等待即可

报错：Torch is not able to use GPU; add --skip-torch-cuda-test to COMMANDLINE_ARGS variable to disable this check（我只是个核显，为了先走通安装流程）编辑 webui-user.bat，修改 set COMMANDLINE_ARGS=--skip-torch-cuda-test

5、运行 webui-user.bat

http://127.0.0.1:7860/

6、在浏览器中打开 cmd 窗口中显示的地址使用

报错：RuntimeError: \"LayerNormKernelImpl\" not implemented for 'Half'（还是显卡问题）编辑 webui-user.bat，在 COMMANDLINE_ARGS 中增加参数 --precision full --no-half

7、运行错误

stable-diffusion-webui

基于 Stable Diffusion

自己本地部署AI绘画平台

我的博客：https://blog.csdn.net/NRatel

AI绘画