在日常营销设计项目中,3D旅游背景是使用频率高、耗时较长的场景,为此智行UED针对这细分场景训练定制化Lora风格模型,来快速、低成本的完成背景生成,高效进行后续的合成设计。
Stable Diffusion训练风格模型,分为以下六大步骤:
1️⃣收集训练集
收集风格统一的3D旅游素材,图片收集原则宁缺毋滥,需高清
2️⃣训练集处理
删除多余复杂干扰元素,图片格式统一为jpg或者png
3️⃣添加Tag
Stable Diffusion 反推获取基础关键词,在手动编辑关键词(可结合Midjourney中Describe命令)
4️⃣参数调整
大模型选择:model.ckpt 、分辨率设置:768x1152、 最大训练轮数epoch:20 、总步数:36000步
5️⃣模型测试
选择脚本XYZ轴测图测试,对比分析在不同模型与Lora权重下效果,选出最佳模型与之匹配的权重值
6️⃣模型迭代优化
根据业务场景应用反馈,优化训练集素材和标签,重复训练,直到最终训练的Lora稳定性、泛化性较好