火星网校
AI绘图|Stable Diffusion进阶实战——ControlNet转换线稿/漫画稿
发布时间：2023-12-25 14:22:11 浏览量：230次
#头条创作挑战赛#今天来分享如何把一张彩色图片转换成一张漫画风格的黑白线稿的方法。
例如我想把一张水彩稿，或者一张照片转换成黑白漫画稿，不只是简单地把一张图换成灰阶，而是连线条与阴影都要是漫画风格，例如下面这张图显示的：
真人向与真实照片转换成漫画线稿
在网上可以找到好几种方法，我自己测试了每一个能找到的方法，最后确定了一个既可以使用在所有类型的图片，步骤又大体一致的方法，下面列一下我看过的方法，如果有我没尝试过的方法且效果也不错，请跟我说一下：
- 用img2img配上空白图片，加上ControlNet的Canny来生图
- 用txt2img配上专用Lora，加上ControlNet的Canny来生图
- 用txt2img配上漫画向模组与Lora，加上ControlNet的Canny或Lineart来生图
我这次要用的是第三种方法。这种方法除了能正确去除色彩之外，也能让风格贴向我们需要的漫画风，而不是黑白写实风。
第一步，准备
首先，我们必须去下载一个动画漫画向模型与一个转换成线稿专用的LoRA。
- Anything V5/V3，我个人使用的是最新的V5
- Anime Lineart / Manga-like (线稿/线画/マンガ风/漫画风) Style
将模型放到/models/Stable-diffusion/这个文件夹里面，将LoRA放到/models/Lora/这个文件夹下，然后按Refresh来重载，或者干脆重启Automatic1111让设定生效。
第二步，生成小图
选择一个你要转换的图，在这里我用这张从CounterfeitV25模型绘制的图当范例：
在txt2img里面，将相对应的正面与负面提示词输入进去。
如果这张图本来没有提示词，你可以在img2img里面上传图片，然后用Interrogate CLIP（真人向图片），或者Interrogate DeepBooru（动漫向图片）直接从图片提炼出正向提示词。至于负面提示词，就使用你常用的负面提示词应该就足够了。
以我的例子，这是我用的正面提示词：
(best quality:1.4), (masterpiece:1.4),
digital painting of Vallaria, holding_bouquet, bangs, skirt, shirt, long_sleeves, hat, dress, kindly smile,
flower field,
real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, detailed face and breast, beautiful eyes, detailed eyes, perfect body, perfect breasts, perfect face
<lora:VallariaV2:0.3>
然后在正面提示词，你必须将所有可能产生颜色的提示词都去掉，例如头发颜色或眼睛颜色，或者主观判断将他们替换成黑白灰三色。当然如果你想要产生的图片是类似漫画周刊彩页的效果，那这步就可省略。
接着将模型替换成AnythingV5，并且将LoRA提示词，还有启动词加入正面提示词内：
lineart, monochrome, (black and white:1.4),
(best quality:1.4), (masterpiece:1.4), digital painting of Vallaria, holding_bouquet, bangs, skirt, shirt, long_sleeves, hat, dress, kindly smile, flower field,
real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, detailed face and breast, beautiful eyes, detailed eyes, perfect body, perfect breasts, perfect face
<lora:VallariaV2:0.3> <lora:animeLineartMangaLike_v30MangaLike:1>
当然，如果你不需要黑白线稿，(black and white:1.4)就不用加。
接着开启ControlNet，将同一张图拉进来，使用Canny作为预处理器与models
记得勾选Enable，将权重调为1。否则你会生出完全不同的图。
接着开始跑图，直到出现你想要的结果：
很接近我们想要的图了，但在这边有几个问题：
- 如果原图过小，例如512X512，跑出来的图，它的线条与光影会非常模糊，像是铅笔稿而不是漫画墨水笔稿。
- 阴影的转换过于光滑，像是图片直接转成灰阶，而不像漫画的墨水或网点。
如果以上问题对你来说都可接受，那就可以停在这边，否则我们可以继续反精细化它。
第三步，放大与反精细
接下来修改同一个正面提示词，将所有能让画面精细的提示词都移除掉，例如我的正面提示词中：
real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, detailed face and breast, beautiful eyes, detailed eyes, perfect body, perfect breasts, perfect face
移除这些提示词之后，就能让图片得到接近手绘漫画的质感。而且由于我们的图已经被ControlNet用Canny牢牢控制住，所以丰富细节的提示词被移除也不会影响我们的人物脸型与五官特征。
接着我们要开启Hires. fix，将图放大到两边都要超过1024像素，这样笔触才能锐利到有漫画钢笔的感觉。
这就是我们最后的结果：
漫画风格
目前ControlNet最新版本是1.1版，增加了许多新的预处理器跟models，其中一个Lineart也是专门产生类似手绘动画稿的风格。
配合利用之前提到的 AI绘画|如何使用Stable Diffusion来制作角色设定图？ ，我们就可以大批量地制造漫画专用的人物设定稿了！
热门课程推荐
热门资讯
-
1. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
7. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
-
作品中脱颖而出并非易事。那么,是否存在办法提升我们的文字创作魅力呢?答案是AI润色!第一点:了解ai润色的原理AI润色是一门利用人工智能技术为文本润...
-
在众多AI绘画软件中,MJ和SD备受关注。它们各有特点,下面我们将从多个方面对MJ和SD进行详细对比。一、技术特点MJ和SD都采用了深度学习技术,通过训练大...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
最新文章
