Pandas数据预处理实例
代码详见https://github.com/RenDong3/Python_Note
1实例背景
该实例使用数据为kaggle经典入门竞赛,泰坦尼克
比赛解析 https://github.com/apachecn/Interview/tree/master/docs/Kaggle/competitions/getting-started/titanic
2 Pandas数据预处理
2.1 读取数据
对于csv数据每一列代表的含义以及详细分析见比赛解析给的网址(在上面哦!!)
2.2 缺失值统计
观察发现,'Age’列含有大量缺失值,Nan即代表缺失值
2.3 平均值计算
如果不对缺失值做预处理,得到结果为nan
只对有效数据进行计算得到平均值
使用dropna()丢弃缺失值
3 列属性之间关联
一般使用pivot_table()得到index和values之间的关联
4排序操作
对Age进行排序操作,但index不变化
对Age进行排序操作,同时index也按照顺序排序
5 自定义函数
使用apply()调用自定义函数
