相信大家已经感受到 AI 绘画的魅力，多多少少也可以自称半个「prompt 小专家」了，而在 AI 绘画的时候 Stable Diffusion 也会出现一些小瑕疵，比如 AI 不是灵魂画「手」，还有一些特别的肢体动作也不是普通人可以用语言描述清楚的。这个时候，就轮到 ControlNet 出场啦！

通过 ControlNet 技术，你添加额外条件来控制扩散模型的生成。它的原理简单来说是给预训练扩散模型增加一个额外的输入，以控制它生成的细节，这里的额外的输入，包括人体姿势、着色和风格化、草图、建筑物等，也就是可以通过给定的图片提取控制信息，以生成相对应的图片。

具体来说，我们可以:

将卡通绘图转化为逼真的照片，同时保持极佳的布局连贯性。

提供免费 TPU 的 ControlNet 微调活动来啦 - 图1

写实版的 Lofi Girl (上: 原图，下: 新图)

进行室内设计：

原图 新图
提供免费 TPU 的 ControlNet 微调活动来啦 - 图2
提供免费 TPU 的 ControlNet 微调活动来啦 - 图3

将涂鸦草图变成艺术作品：

原图 新图
提供免费 TPU 的 ControlNet 微调活动来啦 - 图4
提供免费 TPU 的 ControlNet 微调活动来啦 - 图5

甚至拟人化著名的 logo 形象：

原图 新图
提供免费 TPU 的 ControlNet 微调活动来啦 - 图6
提供免费 TPU 的 ControlNet 微调活动来啦 - 图7

ControlNet，让一切皆有可能 🌠。

更多详细的关于 ControlNet 微调，可以查看我们的博客文章:
https://hf.co/blog/zh/train-your-controlnet

JAX/Diffusers 社区冲刺 🚀 活动

提供免费 TPU 的 ControlNet 微调活动来啦 - 图8

为了帮助更好地使用 ControlNet 探索 AI 绘画（说不定可以做视频生成的模型呢），我们在全球社区联合 Google Cloud 一起举办了这次 🚀 JAX / Diffusers 社区冲刺活动。

除此之外，我们还会联合各个支持社区以及合作伙伴为参赛者提供一系列的支持：

  • 我们将于 4 月 17 日举办技术讲座，邀请来自 Google、Hugging Face 以及开源社区的顶尖科学家和工程师分享他们的经验
  • 参赛者将有机会免费使用 Google Cloud 提供的 TPU 访问权限（资源有限、请务必先报名参加）
  • 与其他开发者共同探索 JAX 和 Diffusers 以及生成式 AI 的无限可能
  • 在国内举办线下的交流活动等…

还等什么，快来参加吧！🔥

报名链接:
https://bit.ly/jax-diffusers

下面是活动详细情况，请注意，这次活动建议各位组队参赛，并且需要自备稳定的外网访问网络。

🌐 活动流程

  1. 项目讨论：3 月底开始，开发者们可以在 Discord 社区中提出与扩散模型相关的创意。大家可以自行组队或者在社区里与其他人组队，最后组成 3 到 5 人的团队，共同参与冲刺活动。4 月 10 日 截止组队报名。
  2. 讲座时间：4 月 17 日，我们将邀请来自 Google、Hugging Face 和 diffusion 开源社区的顶尖科学家和工程师分享宝贵经验，请务必参加！我们还计划在 4 月 13 日、14 日进行其他主题的分享，敬请关注。
  3. 冲刺阶段：每个团队将获得从 4 月 14 日到 5 月 1 日的免费 TPU v4-8 VM 访问权限。我们将提供训练样本，以便您更好地启动项目。冲刺结束时，优秀作品将获得丰厚奖品。！

🏅️活动奖励

在社区冲刺结束时，每个提交的作品将由评审团进行评估，前 3 名将获得奖品。

📅 重要时间节点

活动时间：2023 年 3 月 29 日到 2023 年 5 月 8 日

  • 3 月 29 日: 活动发布，报名开始（请确保填写报名表）
  • 4 月 3 日: 自行组建、或者在 Discord 上和其他人组成 3 到 5 人的团队共同参与
  • 4 月 10 日: 参赛团队开始为期一周的数据收集、讨论等工作
  • 4 月 14 日 ~ 5 月 1 日: 提供 Google Cloud 免费 TPU 访问权限，开始冲刺 (4.14 - 4.17 发放 TPU 资源)
  • 5 月 1 日: 关闭 TPU 访问权限
  • 5 月 8 日: 项目展示

📨 活动交流方式

由于本活动面向全球开发者，请大家优先在 Hugging Face 的 Discord 群讨论，加入地址为:
https://hf.co/join/discord

报名成功后，你将获得更多频道的访问权限，包括技术支持的频道（如果报名成功三天后还没有被邀请加入，请通过微信群，或者在官方的活动帖子下方留言告诉我们）:
https://bit.ly/controlnet-event

这是一个开放的活动，为了确保更多人可以从你的问题中得到灵感以及解决问题的办法，我们欢迎将关于 Flax / JAX、Diffusers、数据集等问题通过公开渠道进行交流，或者在我们的论坛上详细描述问题，并将帖子发在 Discord 频道与大家交流:

我们也为国内参与的用户建立了一个微信群，请扫描下面二维码加入:

提供免费 TPU 的 ControlNet 微调活动来啦 - 图9

群聊免责声明

  • 请只讨论与群聊主题相关的内容，勿讨论任何违反法律和 Hugging Face 社区规定的内容
  • 我们会非常积极地清理发送垃圾信息和违规内容的群成员，如果您认为自己被误伤，请向群主和管理员提出异议
  • 请勿在群内无故批量添加好友，一经发现，我们将永久禁止你参与任何我们的活动，如果你发现自己的隐私被侵犯，请直接拨打 110 报警

🔥 报名参加

https://bit.ly/jax-diffusers

合作伙伴

活动的成功离不开社区里众多合作伙伴的支持，特别感谢以下团队 / 社区对本次活动的支持和帮助！