08 相关性矩阵图

1. 相关性矩阵存在的必要性

相关性矩阵，又叫做热力图，是关联图中最重要的一张图像，它能够展现多个变量两两之间的相关性

关联图的目标是探索两个事物之间关系，它展示出一个事物随着另一个事物的变化如何变化，
但之前我们描述的关联图：折线图或散点图都只能够分析两个变量之间的相关性。在实际统计学和机器学习应用当中，我们往往需要探求多个变量两两之间的相关性。

一个最典型的例子的例子是：在统计建模中，能够使用最小二乘法求解线性回归模型的充分必要条件是特征之间没有相关性（在统计学当中标准的术语叫做共线性），否则模型就会出现偏移，因此往往要先探索相关性，排除相关性，然后再建模

要探索众多变量两两之间的相关性，不太可能对每一组变量都绘制散点图，这样非常低效。

除此之外，即便绘制出了图像，也无法判断出相关性的强弱，即如果相关，究竟有多相关呢？

所以我们要选择更加有效也更加直接的方式：

1. 引入衡量相关性的数学指标：相关系数(Correlation Coefficient)

相关系数是某种类型相关性的数值度量，通常是有界的数字。最为人所知的就是皮尔逊相关系数，这个系数在-1~1之间波动，0表示完全无关，1表示完全正相关，-1表示完全负相关。

2. 绘制相关系数矩阵图，一次性查看所有变量两两之间的相关性

这张图实际上是由相关性矩阵和热力图一起构建的，热力图（heatmap）就是用颜色深浅来表示数值大小的图像

横坐标：一个数据集中的所有变量（可能包括特征或标签）
纵坐标：一个数据集中的所有变量（可能包括特征或标签）
颜色：颜色越接近红和绿，相关性越强，绿色代表正相关，红色代表负相关，浅黄色代表不相关

2. 导入需要的绘图库 & 导入数据

import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
import seaborn as sns
large = 22; med = 16; small = 12
params = {'axes.titlesize': large,
          'legend.fontsize': med,
          'figure.figsize': (16, 10),
          'axes.labelsize': med,
          'axes.titlesize': med,
          'xtick.labelsize': med,
          'ytick.labelsize': med,
          'figure.titlesize': large}
plt.rcParams.update(params)
plt.style.use('seaborn-whitegrid')
sns.set_style("white")
%matplotlib inline

#导入数据
df = pd.read_csv("mtcars.csv")

df.head()

# 所用数据集mtcars记录了32种不同品牌的轿车的11个属性
name = ["英里/加仑","气缸数量","排量","总马力","驱动轴比","重量"
        ,"1/4英里所用时间","引擎","变速器","前进档数","化油器数量","用油是否高效"
        ,"汽车","汽车名称"]
df.columns = name # 替换掉英文的列名
# 英里/加仑：每加仑油耗可以跑的英里数，这个数值越大代表汽车越节能
# 用油是否高效：不难注意到，其实这个特征中的0和1是根据特征英里/加仑来决定的，如果英里/加仑大于4，则用油高效（1），否则用油不高效（0）
# 引擎：分为V（V型）和S（直型）两种，其中1为V型，0为直型

df.head()

(df.汽车 != df.汽车名称).sum()

0

cars 和 carname 内的数据完全一致，且由于这两列不是数值型变量，在相关性矩阵中不重要

3. 先实现相关性矩阵，再实现热力图

df.corr()：实现相关性矩阵

method：填写相关系数类型的参数，可以选择”pearson”，”kendall”，”spearman”

df.corr(method = 'pearson')

df.corr(method = 'spearman')

df.corr(method = 'kendall')

什么时候用什么相关系数？变量相关时：

比较特别的是kendall这个相关系数，它对比的是两个变量按数量排序时（从小到大，或者从大到小），数据排序的相似性。
其他相关系数，可以在scipy，numpy库中找到

coef = df.corr()

sns.heatmap：把相关性矩阵放到热力图里去

data：输入的相关性矩阵
cmap：使用的光谱（热力图需要渐变光谱，而不是随机的一组颜色）
center：绘制有色数据时，位于光谱中心的颜色所对应的值，注意：这是一个控制颜色的参数。如果没有指定cmap，使用此参数将更改默认的cmap参数。我们一般在center中填写数据的中值，比如皮尔逊相关系数的取值范围是[-1,1]，我们就在center中填写0
annot：如果为True，则在热力图的每个单元格中写入数据值。如果是一个类似于data形状的数组，那么使用它来注释热图而不是原始数据

# 确保正常显示中文+负号
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False
# 绘制图像
plt.figure(figsize = (12, 10), dpi = 80)
sns.heatmap(coef
         # , xticklabels = coef.columns # 横坐标标签，此时可不输入
         # , yticklabels = coef.columns # 纵坐标标签，此时可不输入
           , cmap = 'RdYlGn'
           , center = 0 # 控制颜色，而不是控制取值范围
           , annot = True)
# 装饰图像
plt.title('mtcars数据集的相关性矩阵', fontsize = 22)
plt.xticks(fontsize = 12
         , rotation = 45 # 文字旋转
         , horizontalalignment = 'center' # 刻度的相对位置
          )
plt.yticks(fontsize = 12)

(array([ 0.5,  1.5,  2.5,  3.5,  4.5,  5.5,  6.5,  7.5,  8.5,  9.5, 10.5,
        11.5]), <a list of 12 Text yticklabel objects>)

4. 解读图像

如果人们对家用车最关心的方面是油耗，那买车时该参考哪些属性？

找到和“英里/加仑”这个指标正相关的属性：

1. 驱动轴比 0.68
2. 1/4英里所用时间 0.42
3. 引擎 0.67
4. 变速器 0.59
5. 前进档数 0.49
6. 用油是否高效 0.73 （这个属性由“英里/加仑”计算得出，参考意义不大）

找到和“英里/加仑”这个指标负相关的属性：

1. 气缸数量 0.86
2. 排量 0.87
3. 总马力 0.79
4. 重量 0.88
5. 化油器数量 0.55

人们为什么购买大排量汽车？

找到和“排量”这个指标正相关的属性：

1. 总马力 0.79
2. 气缸数量 0.9
3. 重量 0.89
4. 化油器数量 0.39

找到和“排量”这个指标负相关的属性：

1. 英里/加仑 0.87
2. 1/4英里所用时间 0.43
3. 引擎 0.71
4. 变速器 0.59
5. 前进档数 0.56
6. 驱动轴比 0.71
7. 用油是否高效 0.73

由上可知，人们为了追求更强的马力、加速更快才购买大排量汽车。那么还有哪些因素影响汽车的马力？

或者说，马力更强的车有哪些特征？

5. 相关性矩阵图在统计学中的应用

删除相关性高的特征

如果一个特征，对其他每一特征都有较高的相关性，那么就可以删除掉这个特征，如

英里/加仑
气缸数量
排量

如果一个特征，与某一特征的相关性很小，那么就可以保留这个特征，如

总马力