关于AI绘画，你想知道的都在这里

关于AI绘画，你想知道的都在这里 M-ing 发布于 2022-10-16 12:38

最近比较痴迷于AI绘画
在本地部署了前沿的 NovelAI 与 StableDiffusion AI绘画模型
这几天用自己的显卡跑了这些模型并做了很多测试，AI出图的效果非常惊艳
但鉴于很多人对AI绘画不了解，甚至对其有误解，于是我写下了这篇非常详细的并且通俗易懂的关于现阶段AI绘画的文章
你想知道的有关AI绘画的前沿内容，以及我对AI绘画的伦理问题思考，均在↓

一.AI绘画的历程

AI绘画其实在很早以前就出现了，只不过那时候的效果不尽人意。
而在最近几年出现了一个名为‘’概率去噪扩散算法‘’，在这种算法的加持下，各种AI绘画模型才开始开始层出不穷，但是这些早期的AI绘画模型要么被大公司长久把持（例如OpenAI公司，他们早在2021年就推出了Dall-E1AI绘画模型，并未开源），要么生成图画的效果不佳，还达不到破圈能力。

直到Stability.ai公司于2022年8月份发布并开源了Stable Diffusion AI 绘画模型，这才彻底让AI绘画热潮爆发！Stable-Diffusion 免费、生成速度又快，每一次生成的效果图就像是开盲盒一样，需要不断尝试打磨，所以大家都疯狂似的开始玩耍，甚至连特斯拉的前人工智能和自动驾驶视觉总监 Andrej Karpathy 都沉迷于此Stable Diffusion采用的底层算法与普通的扩散算法不同，它在其外面还套了一个VAE模型，因此达到了更快的画图速度和更高的画图质量

而到了2022年10月份，基于Stable Diffusion的二次元AI绘画模型NovelAI横空出世，NovelAI强大的二次元插画绘图能力，使其一跃成为全球最好的动漫插画生成模型。
总的来说，目前比较前沿的AI绘画模型有：Stable Diffusion，Disco Diffusion，Midjourney，DALL-E 2，NovelAI。前两者的模型是开源的，而后三者未开源，未开源意味着我们普通人要想使用这些AI模型绘画的话，必须要去他们的官网排队付费申请使用资格

最近引发很大争议的《太空歌剧院》就是由Midjourney所作

国内的AI绘画小程序也是在最近8，9月份开始兴起的，他们使用的模型就是主要就是已开源的Stable Diffusion和Disco Diffusion，大家可能也尝试过，但效果并不怎么好而且还收费，效果不好是很正常的，因为普通用户输入的prompt没有经过专业训练，不规范，这个prompt后文会详细说明
不过就在最近，发生了一件有趣的事，未开源的二次元AI绘画模型NovelAI就在发布的那一天被一个黑客窃取，这个泄露的AI模型也就被公开在互联网上了，我也有幸在很早就拿到了这个模型并在本地部署，做了很多测试，后文会详细说明NovelAI。

二.AI的简单原理

AI绘画原理（图片来源于网络）

鉴于很多人没有深入了解过人工智能，所以就简单的讲一讲人工智能中的神经网络，不讲AI绘画的具体原理，因为本人了解的也不是很深入，而且面对大量的英文文献和数学符号，估计你也没有那个耐心，也听不懂。

神经网络是很多人工智能最最最基本的架构，它模仿的就是我们人类大脑中的神经元，我们人类画师是如何学习绘画的？那可是通过长久的绘画练习，大量的临摹，日复一日，年复一年才训练出来到。而神经网络也类似，它也需要学习，程序员把数以千亿的人类历史上的画作输入给神经网络，让其自我学习，并从中寻找规律，从而形成AI自己的绘画模式，这需要极其庞大的算力，不是一般的设备可以做到的。
于是很多人就认为AI 作画是“对人类画作简单拼接，就是缝合怪，甚至可能称得上抄袭”。不过几十年前AI确实是这样干的，但现在的AI已经不可同日而语了
还有一种观点是“AI 很不擅长处理细节，比如手部、腿部、表情/发型/服装细节，AI 不能完美理解语义”，这一点是对的，这些问题长久以来都是 AI 绘图最大的局限性之一。但需要注意的是，随着训练集规模与模型规模的迅速增长，这些问题也在肉眼可见地被快速解决。

三.AI绘画教程

AI绘画渠道

目前有三种渠道：

1. 国内的AI绘画小程序/app（大多都需要付费，而且效果远达不到类似Midjourney的水准）
2. 去那些前沿AI绘画模型发布的官网（因为都是外国公司，网站访问速度较慢，有些网站需要有测试邀请码，大都需付费）
3. 本地拉取github上已开源AI绘画模型并本地部署（门槛较高，显卡要求较高）

各大官方网站如下：

• Stable Diffusion官网：https://beta.dreamstudio.ai/dream
• NovelAI官网：https://novelai.net/
• Midjourney官网：https://www.midjourney.com/home/

这些网站无需翻墙

如果想要在自己电脑上面部署，还想有好的出图效果的话，显卡要求不低于3060ti，显存不低于6G，显卡越强，出图的效果也越好。而且现在网络上的AI绘画模型部署教学非常多，感兴趣的同学完全可以自己去尝试
如何查看自己电脑详细配置：按住win+R键唤出运行对话框，在其中输入“dxdiag”回车即可

AI绘画教学

这些AI绘画最基本的两种玩法是text-to-image（以用户输入的文字生成图片）和image-to-image（以图生图）

text-to-image

先说text-to-image：用户需自己输入一段文字（必须英文输入，通常称用户输入的内容为prompt或tag），AI就会根据用户输入的文字来生成图画

这个prompt可是非常有讲究的，举个例子，比如你要生成一个漂亮的女孩，你可不能只简简单单输入 ‘A beautiful girl’，这样生成的图片不会好看的，你想想看，你要AI画的女生是长发，短发，单马尾，还是散发？有发饰，眼镜吗？是全身照，还是某个部位特写？是正面，还是侧面，背面？是什么风格？速涂，草稿，线稿，油画，设计图，概念设计，速写，立绘还是厚涂？2D还是3D？光效是什么样的？是全局光照，柔和光照，边缘照明，体积照明还是电影照明？……

不难看出，要想熟练的使用AI绘画画出惊艳的画作，需要使用者有较高的美术素养

image-to-image

image-to-image就是用户上传一张图片，然后AI根据用户上传的图片和用户输入的prompt进行绘制，举个实用的例子，你可以只画一个线稿，然后让AI在你的线稿上的基础上继续作画，达到成品的效果
详细的prompt教程可以参考以下网站（我也收集很多prompt库，可以私聊我获取哦）：

1. https://www.zhihu.com/question/558019952/answer/2710009035
2. https://aitag.top/

以下为Disco Diffusion生成的优秀画作以及对应的prompt：

{{masterpiece}},highly detailed,best quality,highres,{original},A field of flowers at sunset,by greg rutkowski and thomas kinkade, Trending on artstation.yellow color scheme.

A beautiful painting, in the natural morning light of blue sky and white clouds, bright daylight passing through the gaps in the leaves leaving shadows on the ground, a shimmering lake in the distance, and foggy mountains in the background,By Makoto Shinkai

Port, church, smoke, sunset

以下为我最近用Stable Diffusion生成的画作以及对应的prompt：

A highly detailed matte painting of Garden of Eden,studio ghibli, volumetric lighting, high contract, octane render, masterpiece, intricate, epic wide shot, sharp focus,by Makoto Shinkai, artgerm, wlop, greg rutkowski

{{masterpiece}},highly detailed,best quality,highres,original,An old man with a straw hat and a raincoat was fishing alone in a canoe on a cold winter lake. Snow was flying in the sky,by Artgerm,Greg Rutkowski,oil painting

{{masterpiece}},highly detailed,best quality,highres,original,A snowy Chinese village,winter,sunny day, Thomas kinkade, Greg Rutkowski, artstation,sunlight,bright

masterpiece,best quality,highres,original,Portrait of 1 girl with side_ponytail hair and messy_hair, wearing a small crown and gorgeous blue aristocratic clothes, a bust,by Artgerm,Greg Rutkowski,Alphonse Mucha,deco art,goddess,garce,elgent,wings,fantasy,line art,rimming light,close-up,medium shot.

{{masterpiece}},highly detailed,best quality,highres,original,A huge medieval ship was adrift in the sea. The clouds were thick in the sky. There were seagulls perched on the mast,oil painting

四.二次元AI绘画模型NovelAI

NovelAI的出现在二次元的产业应用上是一个非常强大的存在，生成的效果好于中流以下的画师，之前需要找画师去画的一些插图基本上都不需要了，这个不仅可以给一些轻小说做角色设计图，场景图，而且对于那些独立的游戏制作人来说也是可以大幅的降低成本
以下为我最近用NovelAI生成的作品以及对应prompt：

masterpiece,highly detailed,best quality,highres,original,three views from front, magazine cover,official art,{character sheet},White hair, wearing blue flower shaped hair ornaments, wearing medieval armor, skirt armor

an extremely delicate and beautiful girl, wide view, cold attitude, red pupils, short hair, white hair, multicolored hair, black jacket tie, hair ornament hair clip, she looks very relaxed, side face, white atmosphere, 1girl, {{{ink wash painting}}}, white background, clean blackwhite clothes

extremely detailed CG unity 8k wallpaper,{{masterpiece}},decorations, embellishments, best quality, illustration,a girl with butterfly shaped hair ornaments,Long white hair,messy_hair,hair between eyes,red pupil,wearing Chinese cheongsam and white scarf,hold head with hands, sit by the window, and look out of the window,cinematic angle,muted colors,{{elegant}},{{{impasto}}}

{{masterpiece}},{best quality},{highres},solo, {city},a girl with crystal yellow eyes and animal ear surrounded by {many} {feathers} {in tears},night with bright colorful lights with many clouds and clouded moon in the detailed sky,{a lot of glowing particles},medium_breast

solo focus,1 girl,whitedress,Holding a basin of sunflowers in both hands, wearing a straw hat, sunshade hat, and long black hair,straight-on,cinematic angle,acrylic paint,looking at viewer,expressionless,delicate face and eyes,Standing in a sea of flowers, the blue sky is full of clouds, and birds are flying in the sky,hair ribbon,summer,{{masterpiece}},highly detailed,{best quality},highres,original,sunlight,decorations, embellishments,{{illustration}},muted colors,{{{impasto}}}

a girl with butterfly shaped hair ornaments,high ponytail white hair,messy_hair,hair between eyes,red pupil,wearing Chinese cheongsam and white scarf,{{elegant}},lipstick,longeyelashes,mole under eye, beautiful detailed eyes,white gloves,bracelet,full body,{character design}, concept art,{sketch},official art,clothing design,{character sheet}

{masterpiece}, {best quality} , {{detailed face, focus on face, angle of inclination}}, {{wallpaper 8k CG}}, {{colorful oil painting}},Concept Art, A boy with black and white hair,top hat, steampunk white clothes, pocket watch, beautiful and aesthetic, intricate light, Rembrandt lighting, Orange and blue lights,portrait,close-up,{{elegant}}

因为我个人能力有限，就在网上找了几张大佬用NovelAI做的图

B站up主：夜歩空

B站up主：夜歩空

B站up主：日式茶泡饭

知乎作者：ssssoRa

关于NovelAI有一个很有意思的用途，当时程序员们在训练这个AI模型的时候，给它投喂的人类插画中有非常之多的18X内容的动漫图片，这也就是说，NovelAI能画完全定制的涩图。你能想到的词汇有多下流，NovelAI就能画出的图片就有多下流。不仅如此，NovelAI还收录的很多知名日本动漫角色，只要在prompt输入角色名就行
说到这里你是不是产生了一些邪恶的想法，但不得不说，你的想法完全可以通过NovelAI实现，这些图片绝对过不了审核，就不放了

五.AI绘画伦理问题

目前AI绘画的作品没有明确的版权，这方面也没有相关法律，所以图像的创作者可以任意复制、修改、分发自己创作的作品，甚至用于商业目的，不需要征求任何许可。

来源于网络

来源于网络
但是你在输入的的提示词中，涉及到风格特别鲜明的艺术家或者商业作品，那么渲染生成的图像会呈现出非常相似的风格，这样自然就会涉及到侵权的问题了。如果你想将图片用于商业目的，还是要谨慎，注意规避这些潜在的风险。

现在很多人都对AI入侵人类艺术领域而感到担忧，这种担忧是完全没有必要的，一方面是因为他们缺乏基础的人工智能学术领域的知识，另一方面是他们被立场取代了思考。AI的概念早在上世纪50年代就被提出来了，但受制于当时的计算速度没有得到较大的发展，直到近十年出现的各种强大的计算机芯片/显卡的辅助下，AI才得以蓬勃发展，但它最终都会受限于硬件，而硬件取决于基本物理学，不知道你有没有发现，当前你我的生活之所以感到日新月异，仅仅只是信息互联网产业在迅速发展，实际上能源，动力，材料，半导体等领域，以及最重要的基础物理学的发展已经缓慢到接近停滞，百年前创造的量子力学，相对论当今仍然可以被定义为尖端物理学，今年的诺贝尔物理学奖也只是证明了量子纠缠确实存在。
话说回来，经过我这几天本地测试的体验来说，AI绘画仅仅只是新时代产生的绘画工具，它的缺陷非常明显，AI绘画绝对取代不了人类画师，但凭借它快速的出图速率，精美的效果，它完全可以淘汰一些中底层的人类画师。
闲鱼现状：

AI绘画目前是一个全新的领域，值得每一个人去尝试，如果有一个留存在你脑海中已久的很想画又画不出来的插画场景，那么AI绘画应该是一个不错的选择！
最后，我想以贡布里希的一句话作为结尾：没有艺术，只有艺术家