Correlation and Covariance

Read this article for more about Correlation and Covariance.

Correlation

Features should be uncorrelated with each other and highly correlated to the feature we’re trying to predict.

Covariance

A meature of how much two random variables change together.

Dimensionality Reduction

主成分分析法 PCA

在多元统计分析中，主成分分析（Principal components analysis，PCA）是一种统计分析、简化数据集的方法。它利用正交变换来对一系列可能相关的变量的观测值进行线性变换，从而投影为一系列线性不相关变量的值，这些不相关变量称为主成分（Principal Components）。具体地，主成分可以看做一个线性方程，其包含一系列线性系数来指示投影方向。PCA对原始数据的正则化或预处理敏感（相对缩放）。

奇异值分解 SVD

奇异值分解（singular value decomposition，SVD）是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。奇异值分解在某些方面与对称矩阵或厄米矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

Importance

Select important features by using Filter, Wrapper, and Embedded Methods. You can read the sub-article to know more about it.