火星网校
让Stable Diffusion秒出图！清华硕士加速神器爆火，已有公司接入
发布时间：2023-11-17 16:45:53 浏览量：99次
推理阶段只需4步
克雷西 发自 凹非寺
|
AI图像生成，已经进入了秒速级别，只要4步推理就能完成绘制，最快更是能在1秒之内完成。
现在，清华大学联合HuggingFace的研究人员，推出了全新的绘图模型加速模块。
作者给出的体验版当中，点击生成按钮后，模型只用了几秒钟就绘制出了4张清晰的图像。
这个加速模块叫做LCM-LoRA，发布后不久就斩获了2k+次GitHub星标。
它不仅加速能力强、泛化性能好，适配的模型也很广泛，SD系和LoRA模型都能用它来加速。
团队基于LCM-LoRA自行优化的文生图模型已在HuggingFace上开放体验，图生图模型也推出了CoLab等版本。
AI绘图工具迅速接入
LCM-LoRA开源后不久，就有AI绘图工具厂商Scenario宣布将基于它推出“实时绘图”功能。
Scenario的CEO还在上亲自展示了即将上线的实时绘图功能DEMO。
只见一边在绘制草图，另一边AI就把相应的画作绘制好了，时间上几乎同步。
调整提示词和有关参数，模型响应得也是干脆利落。
这些DEMO发布后，引发了众人的一致赞叹。
那么，LCM-LoRA这个加速模块到底有多强，又是怎样实现的呢？
“跳步”降低内存开销
LCM-LoRA将LoRA引入潜在一致性模型（LCM）的蒸馏过程，显著减少了训练内存开销，从而提高性能。
而LCM是从潜扩散模型（LDM）中蒸馏出来的，“蒸馏”的过程也可以看做是对扩散模型的微调。
它的核心思想是在图像的隐变量空间中学习一致性映射函数，该函数可以直接将扩散过程中的任意点映射到终点，即微分方程的解。
通过这种一致性映射，LCM可以跳过迭代采样过程，直接进行少步甚至一步采样，从而极大地加速了图像的生成。
而隐变量空间操作相比基于像素空间的方法，计算复杂度和内存需求也更低。
结合LoRA后，只需要训练低秩分解矩阵，可训练参数量和内存开销进一步减少，应用范围也从单纯的文生图扩展到了图生图和视频生成。
最直观体现的就是我们看到的秒速出图，而训练时间上，LCM-LoRA优化后的模型在A100上训练只需32个GPU时。
训练时间缩短的背后，也于训练参数量大幅减少密切相关：
- SD-V1.5全量参数为9.8亿，使用LoRA后可训练参数减少到6750万，约减少了93.1%。
- SSD-1B参数从13亿减少到1.05亿，约减少了91.9%。
- SDXL参数从35亿减少到1.97亿，约减少了94.3%。
不仅是训练消耗的降低，推理过程中的步数也大幅减少，一般只需要4步推理就能绘制出质量不错的图像。
有时甚至只要一步就能完成，用时还不到1秒，FID分数（越低越好）在50以下。
不仅加速性能优异，LCM-LoRA的适配性也十分广泛。
LCM-LoRA训练得到的LoRA参数又称为加速向量，可以数据集上微调得到的LoRA参数直接线性组合，不需要额外训练。
这种组合方式使得LCM-LoRA成为一个可直接插接到各种微调模型中的通用图像生成加速模块。
作者简介
LCM和LCM-LoRA论文的两位主要作者是来自清华大学交叉信息研究院的研究生骆思勉（Simian Luo）和谭亦钦（Yiqin Tan）。
清华叉院的黄隆波副教授、李建副教授和赵行助理教授也参与了这两项研究。
在LCM-LoRA的工作中，来自HuggingFace的研究人员亦有贡献。
论文地址：
[1]https://arxiv.org/abs/2310.04378
[2]https://arxiv.org/abs/2311.05556
开源项目页：
https://github.com/luosiallen/latent-consistency-model
文生图在线体验（HuggingFace）：
https://huggingface.co/spaces/SimianLuo/Latent_Consistency_Model
图生图Colab笔记：
https://colab.research.google.com/github/camenduru/latent-consistency-model-colab/blob/main/latent_consistency_model_webui_colab.ipynb
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
3. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
4. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
7. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
8. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
-
AI技术的快速发展为各行各业带来了许多创新应用,其中之一就是AI小说生成视频。这种技术利用人工智能算法和语言模型,将文本转化为视频剧情,加上配图、...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
最新文章
