背景

随着近年来移动通讯技术发展，短视频媒体（如抖音、快手、直播）占据了用户越来越多的时间，手机屏幕上的图片纷纷动起来，反复冲击大家的视觉注意力。这些无不提醒我们：短视频越来越成为当前优质、主流的流量阵地。

身处阿里巴巴商业化一线，阿里妈妈需要捕捉和跟随这些流量变化的趋势，快速高效扩展到这种新形式的商业化阵地。 流量场景的扩展依赖视频创意能力的支撑，我们的任务就是帮助阿里妈妈帮助我们的广告主建立视频创意能力，开拓短视频阵地的商业化。

依托于我们在图文创意上多年积累的能力和经验，通过一年多的时间迭代升级，逐步建立起【阿瞳木】多元化短视频创意能力。

阿瞳木能力&特点

我们建立的短视频创意能力多元化，满足多种角色的不同诉求：

1.【工具化能力】：
提供视频编辑器工具让商家进行创意的制作及编辑；
2.【智能化能力】：
帮助业务实现大批量智能短视频创意的自动化生产；
3.【平台化能力】：
实现在线上传合成视频剧本，帮助设计师和前端解决剧本的在线合成及渲染，提高工作效率；剧本合成可与智能化能力以及工具化能力打通；
image.png

工具化-短视频编辑器

赋能商家视频制作。视频编辑器的建立是为了能够帮助我们的广告主做出更好的视频创意，帮助广告主利用已有的素材通过编辑器进行组合，丰富内容，对视频剪辑，增加字幕等等处理；

编辑器的打造也是为了让广告主制作的视频更好的贴合广告位的投放要求，广告位之间存在尺寸差异，时长要求差异等等，这些问题都通过编辑器来设定好参数，降低素材不符而投放失败的问题；

特点具备规范、功能丰富、简单易用。
image.png

编辑器功能

  • 提供基础视频裁切及剪辑功能；
  • 具备精美的片段库，辅助视频板式的创作，规范化视频与广告位的匹配；
  • 提供丰富的「字幕贴纸」， 任意的视频片段均可添加字幕，字幕有多重样式供选择，满足不同视频画面的需求；
  • 打通商家素材库，沉淀商家在全广告平台素材的复用；
  • 多种「转场特效」，让视频更加炫酷；
  • 丰富的正版版权音乐库，可以自由更换喜欢的音乐作为bgm;
  • 提供媒体资源位标准的片短库，让视频的制作符合投放要求。

image.png

剧本-概念诠释故事线

说到【模板】相信大家都能理解，【剧本】的概念其实可以直白的理解为会讲故事的视频模板。之所以在短视频创意场景我们使用【剧本】而不是【模板】，是因为模板所能展现的更多是平面维度，适合应用在图文创意中，视频创意区别于图文，在平面模板基础上需要增加空间感的动效，时间感的特效等等，所以不在是模板可以诠释的，这时候就需要通过将多个平面模板封装时间线形成【剧本】的方法，来更全面更完整的诠释一个视频的故事。
image.png

【剧本】x【视频编辑器】= 创意指导
这样的剧本方法，可以很好的结合上视频编辑器，以形成创意指导的功能，清晰直观地指导商家如何制作视频。点击剧本，在编辑器里在时间轴序列化的展现配置好的片段，可实现根据片段特性更换素材、删除和新增片段等操作。
image.png

智能化-自动视频制作

智能化的短视频创意能力，赋能给业务，实现在不同的业务场景下，通过智能自动化的方式进行视频创意的生产，既可以满足业务黑盒使用的诉求，也弥补了小商家制作能力弱的不足，解决从无视频到有视频、规模化批量生成等问题；
image.png

如下图所示，当设计师设计剧本后，阿瞳木自动应用于多个商品，生成对应的视频创意，实现了视频的批量制作。具体而言，阿瞳木自动视频制作分为【元素准备】【剧本设计】【创意生成】三个阶段。
image.png

自动化创意生产流程-第一阶段元素准备

包括了元素提取与处理和元素内容理解。

元素提取与处理
算法围绕商品提取多种有用元素，包括图片、视频片段、文案和背景音乐：

  • 图片：包括商品主图、副图、SKU图、广告创意图等， 为保证视觉美观，已使用算法对图片预处理和过滤。
  • 视频片段：商品视频处理片头片尾，按转场镜头切分，得到片段作为素材，同样经过美观度处理。
  • 文案：提供多种形式文案，除商品标题，满减信息等自然文案，更有智能生成文案（详见 阿里妈妈智能文案生成 ）。
  • 背景音乐：多种风格版权音乐。

image.png

元素内容理解
算法综合应用图像、视频与NLP技术，对元素进行理解和描述，并打上相应标签。例如：

  • 描述向量：图/视频/文案的Embedding向量；
  • Low-Level特征分析： 图片/视频的清晰度，黑边处理，多图检测；
  • 空间布局分析：图片/视频 前景和背景区域；
  • 颜色分析：图片/视频前景与背景主色，色彩复杂度；
  • 人物分析： 图片/视频模特位置、身体关键点位置、运动节奏；
  • 场景理解：图片/视频室内、街拍、棚拍场景识别；
  • 文案语义分析： 文案语义折行位置；
  • 投放效果分析：图/文/视频投放效果预估；
    在此基础上，进一步给出元素间的相互关系，如：
  • 相似关系：图片与图片、图片与视频的视觉相似；
  • 搭配关系：图片与图片的背景颜色搭配；
  • 互斥关系：图片与图片的颜色不搭配，人物大小不搭配。

image.png

第二阶段 - 剧本设计

设计师以商品元素、算法针对所有元素进行的属性和关系打标结果等为基础，依据剧本设计方法从时空维度进行视频剧本设计。从空间上，决定视频每一帧应该使用的元素类型、元素应该具备的属性特征以及元素之间的位置关系、特效联动等；从时间上，决定视频的分镜长度、转场切换、元素入场出场时机等，从而实现视频中的图文特效、图像联动、视频多拼等精彩片段。
image.png

第三阶段 - 创意生成

在这一阶段，设计的剧本与商品的元素发生化学反应，得到产出视频。它具体包含两步：

元素填充
根据设计好的剧本对元素的需求（设计师Tag 标出），在每个商品的候选元素集中筛选合适的元素，筛选逻辑包含：

  • 设计师的设计指引，即剧本与素材Tag 匹配性
  • 素材视觉质量， 如图片的牛皮癣分数，智能文案生成似然度得分
  • 素材的投放情况，如图片前期投放的PV， CTR等
    这一步只需要填好所需素材地址，实际引用素材制作视频放在下一步。

渲染创意
渲染使用 阿里妈妈创意中心视频渲染引擎 ，通过解析填充文件，实现设计所需的镜头结构、转场动向，填充元素等，得到实际完成的视频文件

效果预览与投放

阿瞳木提供了两种形式的效果反馈。

在设计阶段，通过剧本的【实例预览】为设计师提供了实时的剧本应用效果Demo（已嵌入下一节介绍的设计平台），即在少量商品集上应用该剧本的呈现效果， 避免实际效果与设计效果的偏差，同时验证剧本产出率，保证剧本满足设计初衷的同时能够覆盖尽量多的商品。实时反馈方便设计师在设计时调整。
image.png

在设计完成后，阿瞳木可通过天级视频产出的实际广告位投放来反馈剧本的投放效果。进一步，设计师可以设计出不同风格的剧本，适配不同的商品。 如下图所示，同一商品通过不同的剧本，可以渲染出风格各异的短视频创意， 从而提升投放深度。再搭配后续的优选逻辑，可额外提升广告的投放效果（我们的实践中，仅通过多剧本个性化优选，就能比效果最好的剧本取得5%以上的点击率提升）。
image.png

平台化

剧本设计平台配合自动剧本制作，阿瞳木提供了完整的从剧本设计到视频产出的完整链路，形成【剧本设计平台。如下图所示，在剧本平台开发之前，视频产出依赖设计师手工设计剧本并形成设计文件，再由算法编程实现。这样手工操作带来了严重问题：

  • 每个剧本单独手工实现，效率低，排期长，设计师完成设计几天甚至一周后才能开始制作；
  • 实现随意，算法按自己理解完成，往往同一个设计剧本会有不同实现。

image.png

而【剧本设计平台】解决了上述问题，设计师在平台上通过上传设计文件，并在设计平台上交互式打标，完成设计。在此之后，设计平台自动导出剧本的形式化表达，后续算法通过剧本自动解析，完成视频填充渲染。从设计到视频产出全自动完成。

【剧本设计平台】具有多方面优势：
1 提效剧本开发渲染： 实现让设计师直接将AE文件输出，在平台上传，合成并渲染剧本，整个过程无需算法人工介入，产出周期由几天缩短至分钟级，可实现剧本的准实时预览。
image.png

提效剧本打标：将剧本的内容填充的打标约定移到平台上，提升打标的效率，提升打标的扩展性，也易于打标的修改；
image.png

流程规范化： 随着业务场景的扩大，参与剧本设计的设计师增多，针对剧本平台制定剧本的【设计制作规范】【设计输出规范】；规范的建立更好的实现【剧本平台】的开放，满足多设计师、多场景的延展；
image.png