在日常营销设计项目中,3D旅游背景是使用频率高、耗时较长的场景,为此智行UED针对这细分场景训练定制化Lora风格模型,来快速、低成本的完成背景生成,高效进行后续的合成设计。

    Stable Diffusion训练风格模型,分为以下六大步骤:
    1️⃣收集训练集
    收集风格统一的3D旅游素材,图片收集原则宁缺毋滥,需高清
    2️⃣训练集处理
    删除多余复杂干扰元素,图片格式统一为jpg或者png
    3️⃣添加Tag
    Stable Diffusion 反推获取基础关键词,在手动编辑关键词(可结合Midjourney中Describe命令)
    4️⃣参数调整
    大模型选择:model.ckpt 、分辨率设置:768x1152、 最大训练轮数epoch:20 、总步数:36000步
    5️⃣模型测试
    选择脚本XYZ轴测图测试,对比分析在不同模型与Lora权重下效果,选出最佳模型与之匹配的权重值
    6️⃣模型迭代优化
    根据业务场景应用反馈,优化训练集素材和标签,重复训练,直到最终训练的Lora稳定性、泛化性较好

    Lora模型训练 | 实现3D旅游背景自由 - 图1

    Lora模型训练 | 实现3D旅游背景自由 - 图2

    Lora模型训练 | 实现3D旅游背景自由 - 图3

    Lora模型训练 | 实现3D旅游背景自由 - 图4

    Lora模型训练 | 实现3D旅游背景自由 - 图5

    Lora模型训练 | 实现3D旅游背景自由 - 图6

    Lora模型训练 | 实现3D旅游背景自由 - 图7

    Lora模型训练 | 实现3D旅游背景自由 - 图8

    Lora模型训练 | 实现3D旅游背景自由 - 图9

    Lora模型训练 | 实现3D旅游背景自由 - 图10

    Lora模型训练 | 实现3D旅游背景自由 - 图11

    Lora模型训练 | 实现3D旅游背景自由 - 图12

    原文链接:https://mp.weixin.qq.com/s/DeAD4UvjLF0pNaXiuNwTrQ