置换不变性

1.置换不变性

置换不变性的解释:如果一个函数的输出不通过改变其输入的顺序而改变,那么这个函数就是一个排列不变量。下面是一个例子。

举例:
论文中遇到的知识点🎇🎇 - 图1
当我们改变xyz的输入顺序,式1结果变化、式2结果不变。

通常来讲,神经网络通过赋予同一层的神经元不同权值进行计算,因此当输入改变时,输出往往也会改变,在某些问题中,我们希望能学习到这种特性,如拼图游戏,一个2×2的拼图我们希望无论输出什么输出都为完整图像。

更深的理解可以看这里:用神经网络解决拼图游戏

在CNN中maxpooling可以提供一定的旋转不变性,因为经过一定的旋转,可能输入的最大值不会变。