ControlNet 是一种通过添加额外条件来控制扩散模型的神经网络结构。
ControlNet可以对使用扩散模型生成的图像进行精确、细粒度的控制。这是一个巨大的进步，将改变许多行业。
ControlNet：一种新的图像生成方法
ControlNet 是一种使用扩散模型生成图像的新方法，可提供精确、细粒度的控制。它的工作原理是使用在特定任务上训练的第二个模型来解释草图并创建具有相似边缘的图像。ControlNet 还可用于从 3D 角色编辑工具生成精确的姿势，并微调特定人物的模型。在配备高端显卡的 Windows PC 上运行相对容易，也可用于控制 2D 照片中的照明。
基本思想是，你的扩散模型与第二个在特定任务上训练的模型协同工作。这就是sd15_scribble模型。它帮助稳定扩散1.5解释草图，例如ControlNet 可以把一个猫头鹰“草图”变成一个真正的像猫头鹰的手绘图。
ControlNet有许多这样的模型和一个训练新模型的框架。用于邦德照片的模型使用Canny边缘检测器的输出，并创建具有非常相似边缘的图像。这在整体布局方面创造了非常接近的匹配。
最后但并非最不重要的是，ControlNet结合了通过DreamBooth进行的微调。可以微调自己的模型，然后用它来渲染自己到一个特定的场景。
在ControlNet实验中，切换不同风格的当代印度装饰，同时保持一致的场景布局。 喜欢ControlNet如何让艺术家重新控制AI图像生成过程。
斯坦福大学的 Lvmin Zhang 和 Maneesh Agrawala @magrawala 开发了这项技术，原始研究出版物在这里
为什么ControlNet这样一个改变游戏规则的人 原因是任何技术的模块化都会成倍地增加其效用：深度学习模块化和语言模型
腾讯项目点击标题。