一些非标准卷积结构的应用

1x1卷积通过对特征图之间的线性组合来做到升维或者是降维的目的，也就是多个通道的特征图的信息整合和交互。

空洞卷积，也叫扩张卷积，通过加入空洞率来改变卷积的感受野大小，降低同等感受野情况下的卷积核参数数量，不同空洞率的卷积核会捕获不同尺寸的邻近像素信息。缺点是速度慢，不好优化。使用的时候空洞率不能有公约数，得交错使用。

组卷积是将输入的特征图依照通道来划分为多组，每组中做相应卷积，输出特征信息按照通道来进行cat，降低参数数量，便于平行计算，提高泛化性能，但是通道之间缺少交互性，必须引入通道混洗和逐点组卷积和深度分离卷积来实现组特征交互。

转置卷积 主要是做上采样和特征可视化的

深度卷积是极端化的组卷积，将原始特征图的每个通道分为一组，这样的话因为无法做到很好的特征扩展（也就是模型的容量下降），必须引入逐点卷积作为升维的手段，这就是组合的深度可分离卷积。深度可分离卷积计算的时候没有采用激活函数，所以计算量降低很显著，但是模型对应的容量也是相应降低了。

可变性卷积，使用额外的卷积层来学习卷积核的卷积计算的偏移量，对于密集预测任务来说，可变形卷积是一个比较好的选择，可变形卷积会带来更好的精度和泛化性能，但是卷积核过大的时候占用内存比较严重，所以在部署上是比较难的，但是在竞赛上是一个比较好的技巧。另外，可变形卷积可以看作是对局部区域做自注意力操作。

空间分离卷积采用先后对特征图的宽和高进行卷积操作来降低计算的复杂度，但是应用比较少，主要是不是所有的卷积都能分解为两个卷积来计算。

非对称卷积是使用3x3,3x1,1x3这种结构差异性比较大的卷积来，在没有增加计算量的情况下，提升网络的精度。

八度卷积对不同频率信息采用不同步长进行卷积，在保证精度的情况下能够很好的提高效率。

条件卷积适合部署阶段来提高精度

动态卷积权重是自适应的，通过融合自注意力机制来得到每个卷积核的权重，但是对内存占用是相当大的，平行计算效率高，但是代价就是极大的内存付出。

幻影卷积思想是使用简单的线性变换来生成一部分特征图来减少冗余的滤波器，提升网络的计算效率。

自校正卷积可以在不改变模型架构的情况下，增强表示能力，但是网络计算量会增大，自校正卷积分为两个分支，一个分支进行正常的标准卷积计算，另一个采用下采样来增大网络的感受野，也就是让每个空间位置融合有两个空间尺度上的特征信息。

如果只是叠加卷积也就是对图像做多层次的线性变化，很容易造成模型的过拟合，DO-CONV是对逐深度卷积采用标准卷积计算来使得模型参数更加少。

ResNeSt首先是利用残差网络来捕获通道间信息，性能很好。

自卷积