AI 绘画整体认知
2022-12-05 16:23:32 0 举报AI智能生成
AI 绘画整体认知
作者其他创作
大纲/内容
发展时间线
1、一群研究员开始尝试用文本生成图像（2015年）
2、DALL-E（2021年1月）
OpenAI 宣布了 dalle，他们声称可以从任何文字中创建图像
3、开源社区训练自己的AI生成器（2021->）
开源社区基于 Google Colab，根据现有的所有已知的技术模型，制作各种各样的开源文本图像生成器。
大多生成的图像非常抽象，像素也比较低
4、Disco Diffusion（2022年2月）
发布于 Google Colab 平台的一款利用人工智能深度学习进行数字艺术创作的工具，它是基于MIT 许可协议的开源工具<br>可以在Google Drive 直接运行，也可以部署到本地运行
缺点：速度非常慢，动辄 半个小时起步
5、DALL-E 2（2022年4月）
OpenAI 推出 DALL-E 2 实现了更高分辨率和更低延迟，而且还包括了新的功能，如编辑现有图像。<br>
官网：https://openai.com/dall-e-2/
优点：生成内容近乎完美，难以区分是人类还是AI作品
缺点：未公开算法和模型、需要体验资格且通过率很低、有很多限制（死亡，色情，人脸，暴力，公众的人物等。为了防止作恶/犯罪）
6、Stable Diffusion（2022年7月）
stability.ai（一个年轻的英国团队） 推出 Stable Diffusion 并且开源<br>
优点：图像媲美 dalle2 精度、开源、免费、操作简单，生成速度快（平均10-20秒）
使用已有的AI绘画云平台<br>（目前国内外有很多）<br>（这里只举几例）
优点：在线（无需技术背景，注册即可使用）
基于 Disco Diffusion
1、Midjourney（2022年3月内测，5月Beta版）
官网：https://www.midjourney.com/
由 Disco Diffusion 的核心开放人员参与开发的AI生成器<br>
介绍：<br>它是一款搭载在discord上的聊天机器人程序，不需要之前繁琐的操作，也没有DD十分复杂的参数调节，你只需要向mid输入文字就可以生成图像。<br>而且mid的模型更加的精准，dd只能生成抽象的风景，但是mid在人像上也能表现的比较好。<br>它是一个社区形式的产品。跟DD每个人都是独立创作不同，在mid上所有人的作品都是公开的，你用的提示词和相关的作品都是对社区里所有人可见的，你再也不需要问其他人这幅画用了什么提示词？这个特性让社区每天都不断的涌现越来越多优秀的作品和创意，每个人都可以尽情的学习他人的作品。<br>
特点：速度快（改进了 Disco Diffusion，平均1分钟能出图）
限制：使用限制（免费版用户每月有限定的使用次数，付费版用户每个月需支付 30 美元）
基于 Dall-E 2
1、试用
官网：https://labs.openai.com/
缺点：无额外配置参数
基于 Stable Diffusion
1、DreamStudio（2022年8月开放测试）
官网：https://beta.dreamstudio.ai/dream
Stable Diffusion 官方 搭建的平台
限制：使用限制（需要积分，1000积分/10$，若为默认设置，可生成约5000张图，注册实际赠送了100积分）
自己部署必须了解
Google Colab
官网：https://colab.research.google.com/<br>
Google Colab 是一个在线的 Jupyter Notebook 环境，提供免费的 Python 环境，可以在上面运行 Python 代码，并在 Google 的云端进行计算。因此，AI 开发者可以使用 Google Colab 来进行机器学习和数据科学等相关领域的研究和开发。<br><br>例如，AI 开发者可以在 Google Colab 上安装必要的 Python 库，并导入数据集，进行数据预处理和探索性分析。然后，可以在 Google Colab 上实现并训练机器学习模型，并使用 TensorBoard 等工具进行模型可视化。最后，可以在 Google Colab 上对模型进行评估和优化，并将模型部署到产品中。<br><br>此外，AI 开发者还可以在 Google Colab 上进行论文代码的复现和实验，或者利用 Google Colab 的云端计算能力，对大型数据集进行处理和分析。总的来说，Google Colab 为 AI 开发者提供了一个方便、快捷的编程环境，可以更快速、更高效地进行机器学习项目的开发。
简单点说：使开发者可在浏览器中编写、记录和执行 Python 代码，并可利用免费的 GPU 进行 AI 模型训练等计算操作。
“免费”：是有使用量限额的，超出后需要等一段时间才能再用。或者 购买 Pro 版本 $9.9/月。
Jupyter Notebook<br>
Jupyter Notebook 是一种交互式计算环境，它允许您在一个文档中编写和执行代码，并在同一文档中添加文本、数学方程式、图形和其他内容。您可以在 Jupyter Notebook 中使用多种编程语言，包括 Python、R、Julia 和许多其他语言。Jupyter Notebook 的文档格式称为“笔记本”，可以用于数据清洗、计算和可视化，并且可以在不同的应用程序之间共享。Jupyter Notebook 为您提供了一个灵活的开发环境，您可以使用它来探索数据、开发机器学习模型和进行其他类型的数据分析工作。
Google Colab 是一个在线的 Jupyter Notebook 环境。
.ipynb 文件
.ipynb 是一种文件扩展名，它表示这是一个Jupyter Notebook文件。<br>.ipynb 文件可以通过 Jupyter Notebook 软件打开，并且可以通过导出为其他格式（如HTML、PDF等）来分享和发布。<br>
用户可以通过 Google Colab 打开 .ipynb 文件，并在云端进行编辑和运行。用户可以在 Google Colab 中创建新的 .ipynb 文件，或者将已有的 .ipynb 文件上传到 Google Colab 中进行编辑和运行。<br>用户还可以通过 Google Colab 将 .ipynb 文件保存到 Google Drive 或其他云存储服务中，以便在其他地方继续编辑和运行。<br>
Hugging face
官网：https://huggingface.co/
Hugging face 是一家总部位于纽约的聊天机器人初创服务商，开发的应用在青少年中颇受欢迎，在上面存储了大量的 AI 模型。<br>
模型是什么？需要了解AI领域的一些概念
模型、参数、架构、（模型）训练过程、训练数据、（模型）推理过程、微调技术等
几个重要作者机构/公司/单位
StabilityAI、Runway ML、CompVis，都是 Stable Diffusion 参与者，似乎有版权纠纷
相关模型地址
Stable Diffusion 1.4（CompVis）
https://huggingface.co/CompVis/stable-diffusion-v1-4
Stable Diffusion 1.5（runwayml）
https://huggingface.co/runwayml/stable-diffusion-v1-5
Stable Diffusion 2（stabilityai）
https://huggingface.co/stabilityai/stable-diffusion-2
novelAI（官方似乎并未开源）（直接下载地址）
https://huggingface.co/acheong08/secretAI/resolve/main/stableckpt/animefull-final-pruned/model.ckpt
通常，自己部署下载模型时，需要输入 token（点击头像/Settings/Access Tokens/）
AI 绘画 webui<br>
概念
AI 绘画中的 webui 是指将人工智能绘画技术应用到网页应用程序中的一种技术。它通常使用机器学习技术，例如神经网络，来学习如何进行绘制。用户可以通过在网页上绘制或输入文字来启动 AI 绘画功能，人工智能系统将根据用户的输入自动生成绘画。这种技术可以帮助人们快速创作绘画，也可以用来探索人工智能在艺术领域的应用。
开源方案
Disco Diffusion 相关
https://github.com/alembics/disco-diffusion（官方）（可在 Google Colab 中选择 Github 输入链接部署）
Stable Diffusion 相关<br>
https://github.com/CompVis/stable-diffusion（官方）（可在 Google Colab 中选择 Github 输入链接部署）
https://github.com/Sygil-Dev/sygil-webui（含一些上层逻辑，包括优化/调整的工具，如 GFPGAN、RealESRGAN 等）（可在 Google Colab 中选择 Github 输入链接部署）
https://github.com/altryne/sd-webui-colab（已经标为废弃，请使用 sygil-webui）（可在 Google Colab 中选择 Github 输入链接部署）
https://github.com/AUTOMATIC1111/stable-diffusion-webui（需要手动部署）
Google Colab 中 打开开源方案的步骤
打开 Google Colab
https://colab.research.google.com/
在左上角依次点击 文件/打开笔记本/Github
输入Github中的开源方案的链接
点击下方出现的 .ipynb 文件打开
自己部署AI绘画云平台
优点：使用无限制、自己跑模型的方式生成的图片，版权归属于你自己
限制：Google Colab 分配给个人免费的机器配置基本都不高，生成效率低；且有使用量限制，超出后无法使用或需要付费才能继续使用
一句话简述云端部署原理
在免费的 Google Colab 上，运行一个写好的笔记文件（.ipynb文件），以搭建一个AI绘画环境（如 Stable Diffusion及相关工具），以及用来操作它的在线用户界面服务（WebUI）
基于 Stable Diffusion（推荐）
sd-webui-colab 搭建
其内部使用的模型是 Stable Diffusion1.4。也可以通过修改其脚本使用别的模型，如 NovelAi /Stable Diffusion/1.5/2.0（个人猜测）
详细搭建步骤（NRatel的子脑图）
https://www.processon.com/view/62d54be8e401fd516fc3cd85
sygil-webui 搭建
搭建步骤和上面基本类似
功能了解（NRatel的子脑图）
https://www.processon.com/view/62d54be8e401fd516fc3cd81
自己本地部署AI绘画平台
优点：使用无限制、自己跑模型的方式生成的图片，版权归属于你自己；生成效率取决于自己的显卡好不好
本想在 Google Colab 上，连接本地运行时（本地安装的 Jupyter Notebook 服务器），<br>执行 ipynb 文件 进行部署，但似乎其依赖 Google Colab 云环境，所以没有成功。<br>（这里只是记录一下 Google Colab 连接本地运行时 的过程）。<br>
0、安装 Python 3.10.x
注意直接勾选 添加环境变量，否则还要手动添加
1、在 Google Colab 上，连接本地运行时，弹出确认框，先阅读其中内容
2. 按照 <u>这些说明 </u>创建本地连接
https://research.google.com/colaboratory/local-runtimes.html
3、按照此说明安装 Jupyter
http://jupyter.org/install
注意，其中包含 Jupyter Lab、Jupyter Notebook 和 Voila
需要了解，JupyterLab 是包括了 Notebook 的下一代用户界面
4、安装并启用 jupyter_http_over_ws jupyter 扩展程序（一次性）（cmd 中输入下方两个命令）
pip install jupyter_http_over_ws
jupyter serverextension enable --py jupyter_http_over_ws
5、启动服务器并进行身份验证（cmd 中输入下方命令）
jupyter notebook --NotebookApp.allow_origin='https://colab.research.google.com' --port=8888 --NotebookApp.port_retries=0
此时的 cmd 窗口中会出现一个地址：http://localhost:8888/?token=0743557fcc3f7495b05c668dee4df713238415c6e848e68c
6、在弹出确认框中输入该地址，并点击连接按钮，完成连接
7、运行 笔记本文件（一堆报错。。放弃）
基于 Stable Diffusion<br>
sygil-webui
https://github.com/Sygil-Dev/sygil-webui
根据其文档进行部署
https://sygil-dev.github.io/sygil-webui/docs/Installation/one-click-installer
stable-diffusion-webui
https://github.com/AUTOMATIC1111/stable-diffusion-webui
按照其 ReadMe 及 wiki 中所述进行部署
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/
（常见错误）https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Troubleshooting
0、确保满足所需的依赖项，并遵循 NVidia (推荐) 和 AMD gpu可用的说明。
1、安装 Python 3.10.6，并勾选 "Add Python to Path"
2、下载 stable-diffusion-webui 到本地
可以用 git 下载 或 直接 Download Zip后解压
3、将 model.ckpt（模型文件）放到 stable-diffusion-webui/models/Stable-diffusion/ 目录下
4、（可选）将 GFPGANv1.4.pth 放到 stable-diffusion-webui/ 下
5、运行 webui-user.bat
注意，Python版本必须是 3.10.6，否则会各种报错。（wiki中也说了，不要用其他版本，除非你自找麻烦）
注意，在每个 Installing xxx、Cloning xxx 处都可能会等待很久，因为下载、拷贝需要时间，有的较大，保持网络良好并耐心等待即可
报错：Torch is not able to use GPU; add --skip-torch-cuda-test to COMMANDLINE_ARGS variable to disable this check<br>（我只是个核显，为了先走通安装流程）编辑 webui-user.bat，修改 set COMMANDLINE_ARGS=--skip-torch-cuda-test<br>
警告：Launching Web UI with arguments:<br>Warning: caught exception 'Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and installed a driver from http://www.nvidia.com/Download/index.aspx', memory monitor disabled<br>No module 'xformers'. Proceeding without it.<br>LatentDiffusion: Running in eps-prediction mode<br>DiffusionWrapper has 859.52 M params.<br>（还是显卡的问题，忽略）
6、在浏览器中打开 cmd 窗口中显示的地址使用
http://127.0.0.1:7860/
7、运行错误
报错：RuntimeError: "LayerNormKernelImpl" not implemented for 'Half'<br>（还是显卡问题）编辑 webui-user.bat，在 COMMANDLINE_ARGS 中增加参数 --precision full --no-half
我的博客：https://blog.csdn.net/NRatel
0 条评论
下一页
