Wide&Deep

主要思想

由单层的Wide侧和多层的Deep侧组合而来，wide部分善于处理大量稀疏类特征，deep部分利用神经网络进行深层交叉。兼具“记忆能力”和“泛化能力”:
记忆能力可以理解为直接利用原始特征的能力；
泛化能力可以理解为发掘稀有特征与label关系的能力。

模型结构

image.png
image.png

  • 论文中Deep侧的特征是全量的特征向量，其中类别型的经过embedding后与数值型concatenate再输入；
  • Wide部分仅使用了两类稀疏的类别特征；
  • Wide&Deep之后，很多模型都是在这基础上进行改进，分别改进Wide侧或者Deep侧

Deep&Cross

主要思想

将Wide侧改成Cross，最基本的Wide&Deep 的Wide侧是普通的线性模型，没有进行特征交叉，设计Cross的目的是增加特征交叉。

模型结构

image.png

  • 和Wide&Deep不同的是Deep&Cross共享输入；
  • 相比线性的Wide侧，使用Cross结构参数量会大大增加；

  • Cross交叉特征的方式有点类似残差网络:

    image.png

    Wide&Deep模型的优势

  • 融合了传统模型的记忆力和神经网络的泛化能力

  • 结构不复杂，容易实现