数据高级处理泰坦尼克号数据分析 泰坦尼克号数据分析python

一、提出问题

泰坦尼克号是当时世界上体积最庞大、内部设施最豪华的客运轮船，有“永不沉没”的美誉 。然而不幸的是，在它的处女航中，泰坦尼克号便遭厄运。本文准备预测泰坦尼克号中乘客的生存概率。

二、理解数据

言归正传，首先登陆kaggle官网：Titanic: Machine Learning from Disasterwww.kaggle.com

该文中有项目的详细介绍，在这里可下载后面学习需要的数据：
#导入处理数据包
import numpy as np
import pandas as pd
#导入数据
#训练数据集
train = pd.read_csv("./train.csv")
#测试数据集
test = pd.read_csv("./test.csv")
#这里要记住训练数据集有891条数据
print ('训练数据集:',train.shape,'测试数据集:',test.shape)
训练数据(train.csv，用于训练模型)总共891行×12列数据，含存活率Survived。
测试数据(test.csv，用于检验模型的准确性)总共418行×11列数据，较训练数据少了Survive
d列。
#合并数据集，方便同时对两个数据集进行清洗
full = train.append( test , ignore_index = True )
#查看数据
full.head()
数据中，各个英文指标含义如下：
print ('合并后的数据集:',full.shape)

三、数据清洗

# 查看每一列的数据类型，和数据总数

full.info()

我们发现数据总共有1309行。

其中数据类型列：年龄(Age)、船舱号(Cabin)里面有缺失数据：

(1)年龄(Age)里面数据总数是1046条，缺失了1309-1046=263条数据

(2)船票价格(Fare)里面数据总数是1308条，缺失了1条数据

字符串列：

(1)登船港口(Embarked)里面数据总数是1307，只缺失了2条数据，缺失比较少

(2)船舱号(Cabin)里面数据总数是295，缺失了1309-295=1014，缺失比较大

这为我们下一步数据清洗指明了方向，只有知道哪些数据缺失数据，我们才能有针对性的处理。

1、数据预处理

(1)缺失值处理

在前文理解数据阶段，我们发现数据总共有1309行。 其中数据类型列：年龄(Age)、船票价格(Fare)里面有缺失数据。 字符串列：登船港口(Embarked)、船舱号(Cabin)里面有缺失数据。

这为我们下一步数据清洗指明了方向。

缺失值如果是数值类型，用平均值取代(年龄、船票价格)
#年龄(Age)
full['Age']=full['Age'].fillna( full['Age'].mean() )
#船票价格(Fare)
full['Fare'] = full['Fare'].fillna( full['Fare'].mean() )
print('处理后：')
full.info()
缺失值如果是分类数据，用最常见的类别取代(登船港口、客舱等级)
#用最常见的登船港口S来取代
full['Embarked'] = full['Embarked'].fillna( 'S' )
#缺失数据比较多，船舱号(Cabin)缺失值填充为U，表示未知(Unknow)
full['Cabin'] = full['Cabin'].fillna( 'U' )
#检查数据处理是否正常
full.head()
#查看最终缺失值处理情况，记住生成情况(Survived)这里一列是我们的标签，用来做机器学习预测的，不需要处理这一列
full.info()
2、特征提取
查看数据类型，分为3种数据类型：

(1)数值类型：

乘客编号(PassengerId)，年龄(Age)，船票价格(Fare)，同代直系亲属人数(SibSp)，不同代直系亲属人数(Parch)

(2)时间序列：无

(3)分类数据：

a、有直接类别的

乘客性别(Sex)：男性male，女性female

登船港口(Embarked)：出发地点S=英国南安普顿Southampton，途径地点1：C=法国 瑟堡市Cherbourg，出发地点2：Q=爱尔兰 昆士敦Queenstown

客舱等级(Pclass)：1=1等舱，2=2等舱，3=3等舱

b、字符串类型：可能从这里面提取出特征来，也归到分类数据中
乘客姓名(Name)
客舱号(Cabin)
船票编号(Ticket)
性别处理
'''将性别的值映射为数值男(male)对应数值1，女(female)对应数值0'''
sex_mapDict={'male':1,
'female':0}
#map函数：对Series每个数据应用自定义的函数计算
full['Sex']=full['Sex'].map(sex_mapDict)
full.head()
登船港口(Embarked)
'''登船港口(Embarked)的值是：出发地点：S=英国南安普顿Southampton途径地点1：C=法国 瑟堡市Cherbourg途径地点2：Q=爱尔兰 昆士敦Queenstown'''
embarkedDf = pd.DataFrame()
'''使用get_dummies进行one-hot编码，产生虚拟变量(dummy variables)，列名前缀是Embarked'''
embarkedDf = pd.get_dummies( full['Embarked'] , prefix='Embarked' )
#添加one-hot编码产生的虚拟变量(dummy variables)到泰坦尼克号数据集full
full = pd.concat([full,embarkedDf],axis=1)
'''因为已经使用登船港口(Embarked)进行了one-hot编码产生了它的虚拟变量(dummy variables)所以这里把登船港口(Embarked)删掉'''
full.drop('Embarked',axis=1,inplace=True)
full.head()
客舱等级(Pclass)
'''客舱等级(Pclass):1=1等舱，2=2等舱，3=3等舱'''
#存放提取后的特征
pclassDf = pd.DataFrame()
#使用get_dummies进行one-hot编码，列名前缀是Pclass
pclassDf = pd.get_dummies( full['Pclass'] , prefix='Pclass' )
#添加one-hot编码产生的虚拟变量(dummy variables)到泰坦尼克号数据集full
full = pd.concat([full,pclassDf],axis=1)
#删掉客舱等级(Pclass)这一列
full.drop('Pclass',axis=1,inplace=True)
full.head()部分摘录

(3)分类数据：字符串类型

字符串类型：可能从这里面提取出特征来，也归到分类数据中，这里数据有：乘客姓名(Name)、客舱号(Cabin)、船票编号(Ticket)

从姓名中提取头衔

'''注意到在乘客名字(Name)中，有一个非常显著的特点：乘客头衔每个名字当中都包含了具体的称谓或者说是头衔，将这部分信息提取出来后可以作为非常有用一个新变量，可以帮助我们进行预测。例如：Braund, Mr. Owen HarrisHeikkinen, Miss. LainaOliva y Ocana, Dona. FerminaPeter, Master. Michael J练习从字符串中提取头衔，例如Mrsplit用于字符串分割，返回一个列表我们看到姓名中'Braund, Mr. Owen Harris'，逗号前面的是“名”，逗号后面是‘头衔. 姓’name1='Braund, Mr. Owen Harris'split用于字符串按分隔符分割，返回一个列表。这里按逗号分隔字符串也就是字符串'Braund, Mr. Owen Harris'被按分隔符,'拆分成两部分[Braund,Mr. Owen Harris]你可以把返回的列表打印出来瞧瞧，这里获取到列表中元素序号为1的元素，也就是获取到头衔所在的那部分，即Mr. Owen Harris这部分Mr. Owen Harrisstr1=name1.split( ',' )[1]str2=str1.split( '.' )[0]#strip() 方法用于移除字符串头尾指定的字符(默认为空格)str3=str2.strip()'''

'''定义函数：从姓名中获取头衔'''
def getTitle(name):
str1=name.split( ',' )[1] #Mr. Owen Harris
str2=str1.split( '.' )[0]#Mr
#strip() 方法用于移除字符串头尾指定的字符(默认为空格)
str3=str2.strip()
return str3
#存放提取后的特征
titleDf = pd.DataFrame()
#map函数：对Series每个数据应用自定义的函数计算
titleDf['Title'] = full['Name'].map(getTitle)
titleDf.head()
'''定义以下几种头衔类别：Officer政府官员Royalty王室(皇室)Mr已婚男士Mrs已婚妇女Miss年轻未婚女子Master有技能的人/教师'''
#姓名中头衔字符串与定义头衔类别的映射关系
title_mapDict = {
"Capt": "Officer",
"Col": "Officer",
"Major": "Officer",
"Jonkheer": "Royalty",
"Don": "Royalty",
"Sir" : "Royalty",
"Dr": "Officer",
"Rev": "Officer",
"the Countess":"Royalty",
"Dona": "Royalty",
"Mme": "Mrs",
"Mlle": "Miss",
"Ms": "Mrs",
"Mr" : "Mr",
"Mrs" : "Mrs",
"Miss" : "Miss",
"Master" : "Master",
"Lady" : "Royalty"
}
#map函数：对Series每个数据应用自定义的函数计算
titleDf['Title'] = titleDf['Title'].map(title_mapDict)
#使用get_dummies进行one-hot编码
titleDf = pd.get_dummies(titleDf['Title'])
titleDf.head()
#添加one-hot编码产生的虚拟变量(dummy variables)到泰坦尼克号数据集full
full = pd.concat([full,titleDf],axis=1)
#删掉姓名这一列
full.drop('Name',axis=1,inplace=True)
从客舱号中提取客舱类别
'''补充知识：匿名函数python 使用 lambda 来创建匿名函数。所谓匿名，意即不再使用 def 语句这样标准的形式定义一个函数，预防如下：lambda 参数1，参数2：函数体或者表达式# 定义匿名函数：对两个数相加sum = lambda a,b: a + b# 调用sum函数print ("相加后的值为 : ", sum(10,20))'''
#客舱号的首字母是客舱的类别
#查看客舱号的内容
full['Cabin'].head()
#存放客舱号信息
cabinDf = pd.DataFrame()
'''客场号的类别值是首字母，例如：C85 类别映射为首字母C'''
full[ 'Cabin' ] = full[ 'Cabin' ].map( lambda c : c[0] )
##使用get_dummies进行one-hot编码，列名前缀是Cabin
cabinDf = pd.get_dummies( full['Cabin'] , prefix = 'Cabin' )
cabinDf.head()
#添加one-hot编码产生的虚拟变量(dummy variables)到泰坦尼克号数据集full
full = pd.concat([full,cabinDf],axis=1)
#删掉客舱号这一列
full.drop('Cabin',axis=1,inplace=True)
full.head()
建立家庭人数和家庭类别
#存放家庭信息
familyDf = pd.DataFrame()
'''家庭人数=同代直系亲属数(Parch)+不同代直系亲属数(SibSp)+乘客自己(因为乘客自己也是家庭成员的一个，所以这里加1)'''
familyDf[ 'FamilySize' ] = full[ 'Parch' ] + full[ 'SibSp' ] + 1
'''家庭类别：小家庭Family_Single：家庭人数=1中等家庭Family_Small: 2<=家庭人数<=4大家庭Family_Large: 家庭人数>=5'''
#if 条件为真的时候返回if前面内容，否则返回0
familyDf[ 'Family_Single' ] = familyDf[ 'FamilySize' ].map( lambda s : 1 if s == 1 else 0 )
familyDf[ 'Family_Small' ] = familyDf[ 'FamilySize' ].map( lambda s : 1 if 2 <= s <= 4 else 0 )
familyDf[ 'Family_Large' ] = familyDf[ 'FamilySize' ].map( lambda s : 1 if 5 <= s else 0 )
#添加one-hot编码产生的虚拟变量(dummy variables)到泰坦尼克号数据集full
full = pd.concat([full,familyDf],axis=1)
#到现在我们已经有了这么多个特征了
full.shape
(1309, 33)
3、特征选择
相关系数法：计算各个特征的相关系数
#相关性矩阵
corrDf = full.corr()
'''查看各个特征与生成情况(Survived)的相关系数，ascending=False表示按降序排列'''
corrDf['Survived'].sort_values(ascending =False)
根据各个特征与生成情况(Survived)的相关系数大小，我们选择了这几个特征作为模型的输入：头衔(前面所在的数据集titleDf)、客舱等级(pclassDf)、家庭大小(familyDf)、船票价格(Fare)、船舱号(cabinDf)、登船港口(embarkedDf)、性别(Sex)
#特征选择
full_X = pd.concat( [titleDf,#头衔
pclassDf,#客舱等级
familyDf,#家庭大小
full['Fare'],#船票价格
cabinDf,#船舱号
embarkedDf,#登船港口
full['Sex']#性别
] , axis=1 )
full_X.shape
(5,27)

四、数据建模

1、建立训练数据集和测试数据集

'''1)我们将Kaggle泰坦尼克号项目给我们的测试数据，叫做预测数据集(记为pred,也就是预测英文单词predict的缩写)。也就是我们使用机器学习模型来对其生存情况就那些预测。2)我们使用Kaggle泰坦尼克号项目给的训练数据集，做为我们的原始数据集(记为source)，从这个原始数据集中拆分出训练数据集(记为train：用于模型训练)和测试数据集(记为test：用于模型评估)。'''

#原始数据集有891行
sourceRow=891
'''sourceRow是我们在最开始合并数据前知道的，原始数据集有总共有891条数据从特征集合full_X中提取原始数据集提取前891行数据时，我们要减去1，因为行号是从0开始的。'''
#原始数据集：特征
source_X = full_X.loc[0:sourceRow-1,:]
#原始数据集：标签
source_y = full.loc[0:sourceRow-1,'Survived']
#预测数据集：特征
pred_X = full_X.loc[sourceRow:,:]
'''从原始数据集(source)中拆分出训练数据集(用于模型训练train)，测试数据集(用于模型评估test)train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和test data'''
from sklearn.model_selection import train_test_split
#建立模型用的训练数据集和测试数据集
train_X, test_X, train_y, test_y = train_test_split(source_X ,
source_y,
train_size=.8,
test_size=.2)
#输出数据集大小
print ('原始数据集特征：',source_X.shape,
'训练数据集特征：',train_X.shape ,
'测试数据集特征：',test_X.shape)
print ('原始数据集标签：',source_y.shape,
'训练数据集标签：',train_y.shape ,
 '测试数据集标签：',test_y.shape)
2、选择机器学习算法
本文采用逻辑回归法。
#第1步：导入算法
from sklearn.linear_model import LogisticRegression
#第2步：创建模型：逻辑回归(logisic regression)
model = LogisticRegression()
#第3步：训练模型
model.fit( train_X , train_y )
# 分类问题，score得到的是模型的正确率
model.score(test_X , test_y )
0.84357541899441346
五、模型预测
#使用机器学习模型，对预测数据集中的生存情况进行预测
pred_Y = model.predict(pred_X)
#乘客id
passenger_id = full.loc[sourceRow:,'PassengerId']
#数据框：乘客id，预测生存情况的值
predDf = pd.DataFrame(
{ 'PassengerId': passenger_id ,
'Survived': pred_Y } )
predDf.shape
predDf.head()
#保存结果
predDf.to_csv( 'titanic_pred.csv' , index = False

)

这样模型预测结果就输出到文件 titanic_pred.csv 中，可提交至Kaggle查看预测结果的准确率。

六、小结

1、解决问题前，先不急于动手，先想清楚问题的整体解决思路。

2、文中不尽详解之处，可对照《利用Python进行数据分析》第7章进行查看。《利用Python进行数据分析·第2版》第1章 准备工作www.jianshu.com

3、多思考，多复盘，多敲代码。