0.7232018.04.08 22:34:00字数 2,245阅读 9,262
概述
1912年4月15日，泰坦尼克号在首次航行期间撞上冰山后沉没，2224名乘客和机组人员中有1502人遇难。沉船导致大量伤亡的原因之一是没有足够的救生艇给乘客和船员。虽然幸存下来有一些运气因素，但有一些人比其他人更有可能生存，比如妇女，儿童和上层阶级。在本文中将对哪些人可能生存作出分析，特别是运用Python和机器学习的相关模型工具来预测哪些乘客幸免于难，最后提交结果。从kaggle泰坦尼克生存预测项目下载相关数据。
实施步骤
主要步骤
1.提出问题
什么样的人在泰坦尼克号中更容易存活？
2.理解数据
2.1 采集数据
从Kaggle泰坦尼克号项目页面下载数据：https://www.kaggle.com/c/titanic
获取数据
2.2 导入数据
import numpy as npimport pandas as pdtrain = pd.read_csv('E:\kaggle\\train.csv')test = pd.read_csv('E:\kaggle\\test.csv')print ('训练数据集:',train.shape,'测试数据集:',test.shape)
rowNum_train=train.shape[0]rowNum_test=test.shape[0]print('kaggle训练数据集有多少行数据：',rowNum_train,',kaggle测试数据集有多少行数据：',rowNum_test,)
#合并数据集，方便同时对两个数据集进行清洗full = train.append( test , ignore_index = True )print ('合并后的数据集:',full.shape)
2.3 查看数据集信息
#获取数据类型列的描述统计信息full.describe()
describe只能查看数据类型的描述统计信息，对于其他类型的数据不显示
# 查看每一列的数据类型，和数据总数full.info()
我们发现数据总共有1309行。
其中数据类型列：年龄（Age）、船舱号（Cabin）里面有缺失数据：
1）年龄（Age）里面数据总数是1046条，缺失了1309-1046=263，缺失率263/1309=20%
2）船票价格（Fare）里面数据总数是1308条，缺失了1条数据
字符串列：
1）登船港口（Embarked）里面数据总数是1307，只缺失了2条数据，缺失比较少
2）船舱号（Cabin）里面数据总数是295，缺失了1309-295=1014，缺失率=1014/1309=77.5%，缺失比较大
这为我们下一步数据清洗指明了方向，只有知道哪些数据缺失数据，我们才能有针对性的处理。
3.数据清洗
3.1 数据预处理
缺失值处理
在前面，理解数据阶段，我们发现数据总共有1309行。 其中数据类型列：年龄（Age）、船舱号（Cabin）里面有缺失数据。 字符串列：登船港口（Embarked）、船舱号（Cabin）里面有缺失数据。这为我们下一步数据清洗指明了方向，只有知道哪些数据缺失数据，我们才能有针对性的处理。很多机器学习算法为了训练模型，要求所传入的特征中不能有空值。
- 如果是数值类型，用平均值取代
- 如果是分类数据，用最常见的类别取代
- 使用模型预测缺失值，例如：K-NN
print('处理前：')full.info()#年龄(Age)full['Age']=full['Age'].fillna( full['Age'].mean() )#船票价格(Fare)full['Fare'] = full['Fare'].fillna( full['Fare'].mean() )print('处理红后：')full.info()
总数据是1309
字符串列：
1）登船港口（Embarked）里面数据总数是1307，只缺失了2条数据，缺失比较少
2）船舱号（Cabin）里面数据总数是295，缺失了1309-295=1014，缺失率=1014/1309=77.5%，缺失比较大
登船港口（Embarked）：
出发地点：S=英国南安普顿Southampton
途径地点1：C=法国 瑟堡市Cherbourg
途径地点2：Q=爱尔兰 昆士敦Queenstown
#登船港口（Embarked）：查看里面数据长啥样full['Embarked'].head()
#分类变量Embarked，看下最常见的类别，用其填充full['Embarked'].value_counts()
从结果来看，S类别最常见。我们将缺失值填充为最频繁出现的值：
S=英国南安普顿Southampton
full['Embarked'] = full['Embarked'].fillna( 'S' )#缺失数据比较多，船舱号（Cabin）缺失值填充为U，表示未知（Uknow）full['Cabin'] = full['Cabin'].fillna( 'U' )#检查数据处理是否正常full.head()
#查看最终缺失值处理情况，记住生成情况（Survived）这里一列是我们的标签，用来做机器学习预测的，不需要处理这一列full.info()
3.2 特征提取
3.2.1数据分类
查看数据类型，分为3种数据类型。并对类别数据处理：用数值代替类别，并进行One-hot编码。
1.数值类型：
乘客编号（PassengerId），年龄（Age），船票价格（Fare），同代直系亲属人数（SibSp），不同代直系亲属人数（Parch）
2.时间序列：无
3.分类数据：
1）有直接类别的
乘客性别（Sex）：男性male，女性female
登船港口（Embarked）：出发地点S=英国南安普顿Southampton，途径地点1：C=法国 瑟堡市Cherbourg，出发地点2：Q=爱尔兰 昆士敦Queenstown
客舱等级（Pclass）：1=1等舱，2=2等舱，3=3等舱
2）字符串类型：可能从这里面提取出特征来，也归到分类数据中
乘客姓名（Name）
客舱号（Cabin）
船票编号（Ticket）
有直接类别-性别（Sex）
#查看性别数据这一列full['Sex'].head()
将性别的值映射为数值
男（male）对应数值1，女（female）对应数值0
sex_mapDict={'male':1,'female':0}#map函数：对Series每个数据应用自定义的函数计算full['Sex']=full['Sex'].map(sex_mapDict)full.head()
有直接类别-登船港口(Embarked)
使用get_dummies进行one-hot编码，产生虚拟变量（dummy variables），列名前缀是Embarked
#存放提取后的特征embarkedDf = pd.DataFrame()embarkedDf = pd.get_dummies( full['Embarked'] , prefix='Embarked' )embarkedDf.head()
因为已经使用登船港口(Embarked)进行了one-hot编码产生了它的虚拟变量（dummy variables）
所以这里把登船港口(Embarked)删掉
full = pd.concat([full,embarkedDf],axis=1)full.drop('Embarked',axis=1,inplace=True)full.head()
有直接类别-客舱等级（Pclass）
客舱等级(Pclass):
1=1等舱，2=2等舱，3=3等舱
#存放提取后的特征pclassDf = pd.DataFrame()#使用get_dummies进行one-hot编码，列名前缀是PclasspclassDf = pd.get_dummies( full['Pclass'] , prefix='Pclass' )pclassDf.head()
full = pd.concat([full,pclassDf],axis=1)full.drop('Pclass',axis=1,inplace=True)full.head()
字符串类型-乘客姓名（Name）
注意到在乘客名字（Name）中，有一个非常显著的特点：
乘客头衔每个名字当中都包含了具体的称谓或者说是头衔，将这部分信息提取出来后可以作为非常有用一个新变量，可以帮助我们进行预测。
例如：
Braund, Mr. Owen Harris
Heikkinen, Miss. Laina
Oliva y Ocana, Dona. Fermina
Peter, Master. Michael J
定义函数：从姓名中获取头衔
def getTitle(name):str1=name.split( ',' )[1]str2=str1.split( '.' )[0]str3=str2.strip()return str3titleDf = pd.DataFrame()titleDf['Title'] = full['Name'].map(getTitle)titleDf.head()
定义以下几种头衔类别：
Officer政府官员
Royalty王室（皇室）
Mr已婚男士
Mrs已婚妇女
Miss年轻未婚女子
Master有技能的人/教师
#姓名中头衔字符串与定义头衔类别的映射关系title_mapDict = {"Capt": "Officer","Col": "Officer","Major": "Officer","Jonkheer": "Royalty","Don": "Royalty","Sir" : "Royalty","Dr": "Officer","Rev": "Officer","the Countess":"Royalty","Dona": "Royalty","Mme": "Mrs","Mlle": "Miss","Ms": "Mrs","Mr" : "Mr","Mrs" : "Mrs","Miss" : "Miss","Master" : "Master","Lady" : "Royalty"}#map函数：对Series每个数据应用自定义的函数计算titleDf['Title'] = titleDf['Title'].map(title_mapDict)#使用get_dummies进行one-hot编码titleDf = pd.get_dummies(titleDf['Title'])titleDf.head()
full = pd.concat([full,titleDf],axis=1)full.drop('Name',axis=1,inplace=True)full.head()
字符串类型-客舱号（Cabin）
python 使用 lambda 来创建匿名函数。
所谓匿名，意即不再使用 def 语句这样标准的形式定义一个函数，预防如下：
lambda 参数1，参数2：函数体或者表达式
客场号的类别值是首字母，例如：
C85 类别映射为首字母C
cabinDf = pd.DataFrame()full[ 'Cabin' ] = full[ 'Cabin' ].map( lambda c : c[0] )cabinDf = pd.get_dummies( full['Cabin'] , prefix = 'Cabin' )cabinDf.head()
full = pd.concat([full,cabinDf],axis=1)full.drop('Cabin',axis=1,inplace=True)full.head()
建立家庭人数和家庭类别
家庭人数=同代直系亲属数（Parch）+不同代直系亲属数（SibSp）+乘客自己
（因为乘客自己也是家庭成员的一个，所以这里加1）
家庭类别：
小家庭Family_Single：家庭人数=1
中等家庭Family_Small: 2<=家庭人数<=4
大家庭Family_Large: 家庭人数>=5
familyDf = pd.DataFrame()familyDf[ 'FamilySize' ] = full[ 'Parch' ] + full[ 'SibSp' ] + 1familyDf[ 'Family_Single' ] = familyDf[ 'FamilySize' ].map( lambda s : 1 if s == 1 else 0 )familyDf[ 'Family_Small' ] = familyDf[ 'FamilySize' ].map( lambda s : 1 if 2 <= s <= 4 else 0 )familyDf[ 'Family_Large' ] = familyDf[ 'FamilySize' ].map( lambda s : 1 if 5 <= s else 0 )familyDf.head()
#添加one-hot编码产生的虚拟变量（dummy variables）到泰坦尼克号数据集fullfull = pd.concat([full,familyDf],axis=1)full.head()
到现在我们已经有了33个特征了
3.3 特征选择
相关系数法：计算各个特征的相关系数
corrDf = full.corr()corrDf'''查看各个特征与生成情况（Survived）的相关系数，ascending=False表示按降序排列'''corrDf['Survived'].sort_values(ascending =False)
根据各个特征与生成情况（Survived）的相关系数大小，我们选择了这几个特征作为模型的输入：
头衔（前面所在的数据集titleDf）、客舱等级（pclassDf）、家庭大小（familyDf）、船票价格（Fare）、船舱号（cabinDf）、登船港口（embarkedDf）、性别（Sex）
#特征选择full_X = pd.concat( [titleDf,#头衔pclassDf,#客舱等级familyDf,#家庭大小full['Fare'],#船票价格cabinDf,#船舱号embarkedDf,#登船港口full['Sex']#性别] , axis=1 )full_X.head()
4.构建模型
用训练数据和某个机器学习算法得到机器学习模型，用测试数据评估模型
4.1 建立训练数据集和测试数据集
1）坦尼克号测试数据集因为是我们最后要提交给Kaggle的，里面没有生存情况的值，所以不能用于评估模型。
我们将Kaggle泰坦尼克号项目给我们的测试数据，叫做预测数据集（记为pred,也就是预测英文单词predict的缩写）。
也就是我们使用机器学习模型来对其生存情况就那些预测。
2）我们使用Kaggle泰坦尼克号项目给的训练数据集，做为我们的原始数据集（记为source），
从这个原始数据集中拆分出训练数据集（记为train：用于模型训练）和测试数据集（记为test：用于模型评估）。
sourceRow是我们在最开始合并数据前知道的，原始数据集有总共有891条数据
从特征集合full_X中提取原始数据集提取前891行数据时，我们要减去1，因为行号是从0开始的。
source_X = full_X.loc[0:sourceRow-1,:]source_y = full.loc[0:sourceRow-1,'Survived']pred_X = full_X.loc[sourceRow:,:]'''确保这里原始数据集取的是前891行的数据，不然后面模型会有错误'''print('原始数据集有多少行:',source_X.shape[0])print('原始数据集有多少行:',pred_X.shape[0])
从原始数据集（source）中拆分出训练数据集（用于模型训练train），测试数据集（用于模型评估test）
train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和test data
train_data：所要划分的样本特征集
train_target：所要划分的样本结果
test_size：样本占比，如果是整数的话就是样本的数量
from sklearn.cross_validation import train_test_splittrain_X, test_X, train_y, test_y = train_test_split(source_X ,source_y,train_size=.8)print ('原始数据集特征：',source_X.shape,'训练数据集特征：',train_X.shape ,'测试数据集特征：',test_X.shape)print ('原始数据集标签：',source_y.shape,'训练数据集标签：',train_y.shape ,'测试数据集标签：',test_y.shape)
4.2 选择机器学习算法
from sklearn.linear_model import LogisticRegressionmodel = LogisticRegression()
4.3 训练模型
#第3步：训练模型model.fit( train_X , train_y )
5.评估模型
# 分类问题，score得到的是模型的正确率model.score(test_X , test_y )
6.方案实施（Deployment）
6.1 得到预测结果上传到Kaggle
使用预测数据集到底预测结果，并保存到csv文件中，上传到Kaggle中，就可以看到排名。
pred_Y = model.predict(pred_X)'''生成的预测值是浮点数（0.0,1,0）但是Kaggle要求提交的结果是整型（0,1）所以要对数据类型进行转换'''pred_Y=pred_Y.astype(int)passenger_id = full.loc[sourceRow:,'PassengerId']predDf = pd.DataFrame({ 'PassengerId': passenger_id ,'Survived': pred_Y } )predDf.shapepredDf.head()predDf.to_csv( 'titanic_pred.csv' , index = False )
“小礼物走一走，来简书关注我”
还没有人赞赏，支持一下
许辙风控数据分析师
总资产52 (约4.46元)共写了2.3W字获得286个赞共306个粉丝
被以下专题收入，发现更多相似内容
推荐阅读更多精彩内容
大纲 序 数据来源 工具介绍 数据分析数据概览测定基准分析特征重要性数据展示（可视化） 特征工程数据清洗提取新特征…
泰坦尼克的沉没是历史上最臭名昭著的海难。1912年四月5日，在她的处女航上，泰坦尼克由于撞上冰山而沉没，2224人…
张伟松阅读 667评论 3赞 6
Kaggle是一个国际上的大数据竞赛的平台，上面有非常多的数据项目供全球的数据从业者们来挑战。一方面获得好的排名可…
橘子侠阅读 559评论 0赞 7
导语： 1912年4月10日，号称 “世界工业史上的奇迹”的豪华客轮泰坦尼克号开始了自己的处女航，从英国的南安普顿…
完整代码见kaggle kernel 或 NbViewer 比赛页面：https://www.kaggle.com…
若有收获，就点个赞吧
0 人点赞
