只能说是未来可期(AI进阶篇:FLUX-5 ControlNetIP-Adapter)

aidu_pl">

大家好我是安琪!!!

大部分有了一定AI绘画基础的小伙伴在AI创作的过程中应该都离不开一个东西,那就是ControlNet。

ControlNet一度被视为是AI绘图模型在可控性上的终极解决方案,要知道AI绘画在早期最令人诟病的地方就是其随机性,就像是现在随处能刷到的AI视频一样,你永远不知道他下一步要干啥。
在这里插入图片描述

最早的一批官方ControlNet模型是在SD1.5的模型上炼制的,所以无法兼容后续推出的XL乃至现在的FLUX模型。不过目前已经有两个开发团队已经训练出了与FLUX相匹配的ControlNet模型了。

一家叫做XLabsAI的团队训练出了三个单体的ControlNet

这三个ControlNet分别是Canny、HED(SoftEdge)和Depth,这里我比较推荐下载最新的v3版本。

还有另一家叫做InstantX的团队是之前开发InstantID的,他们训练了Canny以及一个ControlNet合集模型,这个Union包含了Canny、Depth、Tile、Openpose等多种控制模式。

在下载完后如果是ComfyUI的话放在这个位置

ComfyUI(根目录)/models/controlnet

如果是ForgeUI的话放在这个位置:

WebUI(根目录)/models/controlnet

在下载完之后可以使用ComfyUI官方提供的工作流,直接将图片拖拽进界面里。

https://comfyanonymous.github.io/ComfyUI_examples/flux/

官方提供的工作流可以配合上篇笔记中提到的FP8优化模型在自带(sd3) ControlNet加载器中使用。

不过原工作流只提供了Canny预处理器

不过这里可以改为另一个节点,双击界面搜索AIO Preprocessor(Aux集成预处理器)然后将原本链接在Canny节点上的线连接在合集预处理器上即可。

使用ControlNet的操作流程:

在Load Image(加载图像)节点上传一张姿势的参考图

将后面AIO Aux Preprocessor里面的预处理类型改为Openpose

在最上面的ControlNet加载器节点选择需要调用的ControlNet模型,选择的是包含了姿势控制的Union模型。

控制姿势的强度则需要通过Apply Controlnet with VAE这个节点内的权重数值来把控,如果是用XLAB那三个Controlnet的话数值推荐在0.6-0.8之间,如果是Union模型则推荐在0.5-0.6。

在CLIP文本编辑器中像正常生图一样输入提示词(根据自己所上传的图片和想要什么姿势写)

之后点击Queue Prompt就可等着生成图片啦!

在这个过程中可能会有小伙伴遇到一些问题,但是目前来说一些生成问题我还没有找到解决的方案。如果遇到了可以私信给我,我可以帮忙看着怎么解决。

除了ControlNet以外就是IP-Adapter了,这个东西就是可以用一张图片实现风格参照与形象固定,甚至能部分取代掉LoRA的作用。

如果想要在ComfyUI中使用的话需要下载两个模型,第一个是FLUX UP-Adapter模型

https://huggingface.co/XLabs-AI/flux-ip-adapter/tree/main

下载后放置在ComfyUI(根目录)models/xlabs/ipadapters

另一个则是Clip_vision模型

https://huggingface.co/openai/clip-vit-large-patch14/tree/main

下载后放在路径:ComfyUI(根目录)/models/clip_vision

此外,还需要在ComfyUI中安装一套XLAB开发的用于支持FLUX模型使用的节点:

然后在ComfyUI中进行节点的链接,文末我会上传原教材视频同款的工作流(原教程17:31处):

在加载完成后需要在Load Flux IPAdapter节点中将选项都设置为下图所示:

因为FLUX有两个文本编码器所以需要两个提示词输入,不过在这里写完复制到下面就可以了。

有些小伙伴可能看到过这样的节点:

这种其实是被压缩的节点,其中的内容是没有变动的:

要注意模型节点的选项,有些是默认的需要自己改动:

先做个有趣的实验,在我一切节点没有变动的情况下,关闭IP-Adapter的话就会直接生成一个随机人物形象的“举牌”图片。

顺带一提关闭节点的话是在节点右键选择Bypass

接下来我让所有节点正常运行并且在图片上传处随机上传一张图片,之后点击生成

资料软件免费放送

次日同一发放请耐心等待

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述


http://www.niftyadmin.cn/n/5679588.html

相关文章

创新型相亲交友平台:怎么吸引年轻用户

在当今这个数字化的时代,相亲交友平台也在不断地进化和发展,以适应年轻一代的社交需求。年轻人追求个性化的体验、高效的沟通以及安全的环境。为了更好地吸引这些用户群体,相亲交友平台需要在技术和服务上不断创新。作者h17711347205本文将探…

npm依赖安装的时候vue版本号报错处理

以下报错显示vue版本不对,需要改成这个版本"vue": "2.6.14"对应的版本 先看一下package.json中vue版本是多少 解决: npm install vue2.6.14

影响6个时序Baselines模型的代码Bug

前言 我是从去年年底开始入门时间序列研究,但直到最近我读FITS这篇文章的代码时,才发现从去年12月25号就有人发现了数个时间序列Baseline的代码Bug。如果你已经知道这个Bug了,那可以忽略本文~ 这个错误最初在Informer&#xff0…

【C++打怪之路Lv4】-- 类和对象(中)

🌈 个人主页:白子寰 🔥 分类专栏:C打怪之路,python从入门到精通,数据结构,C语言,C语言题集👈 希望得到您的订阅和支持~ 💡 坚持创作博文(平均质量分82)&#…

测试开发学习笔记

在这个笔记中将会使用链接的方式实现测试开发的学习过程,可以通过点击链接实现对相关博文的访问 一、python接口自动化测试 python自动化接口测试-CSDN博客 二、unittest框架的学习 python接口自动化——unittest基础介绍-CSDN博客 python接口自动化——unitte…

Android常用C++特性之std::move

声明:本文内容生成自ChatGPT,目的是为方便大家了解学习作为引用到作者的其他文章中。 std::move 是 C11 引入的一个标准库函数模板,用于将对象转换为“右值引用”(rvalue reference),从而允许移动语义&…

C++动态规划问题—斐波拉契数

斐波那契数 1.问题描述 斐波那契数 (通常用 F(n) 表示)形成的序列称为 斐波那契数列 。该数列由 0 和 1 开始,后面的每一项数字都是前面两项数字的和。也就是: F(0) 0,F(1) 1 F(n) F(n - 1) F(n - 2)&#xff0…

Linux标准IO(五)-I/O缓冲详解

1.简介 出于速度和效率的考虑,系统 I/O 调用(即文件 I/O,open、read、write 等)和标准 C 语言库 I/O 函数(即标准 I/O 函数)在操作磁盘文件时会对数据进行缓冲,本小节将讨论文件 I/O 和标准 I/…