参数初始化

在模型初始化的时候，如从(0, 1/n)的正态分布中初始化参数W，由于随机采样的高维向量大概率正交，而此分布下，的二阶距为1/n，因此每列向量与自己的内积为n*1/n=1，因此该初始化参数为正交矩阵。输入通过的正交变化，其模长不变（模由内积决定，，内积不变，因此模长不变，同理夹角不变），因此该初始化参数可以获得比较稳定的输出。