数据挖掘实践-金融风控
- TASK02数据分析
- 1.目标
- 2.内容提纲
- 2.1数据总体情况：
- 2.2深入查看数据类型，
- 2.3数据间相互关系：
- 2.4用pandas_profiling生成数据报告。
- 3.代码实现
- 3.1读取文件
- 3.2数据总体了解
- data_train.info()#展示所有信息：
- data_train.describe()#文件信息描述，包括：
- data_train.head(3).append(data_train.tail(3))#拼接
- 3.3数据缺失值、唯一值
TASK02数据分析
1.目标
1.1对数据集整体概况分析，缺失值、异常值等
1.2变量间的相互关系，变量与预测值的存在关系
2.内容提纲
2.1数据总体情况：
数据集大小，原始特征维度，数据类型，各特征基本统计量，数据缺失情况，唯一值特征情况
2.2深入查看数据类型，
数据属性类型可以分为：
属性类型 | 描述 | |
分类的，定性的 | 标称 | 标称属性的值仅仅只是不同的名字，即标称值只提供足够的信息以区分对象（=，≠） |
二元 | 二元属性又称布尔属性，如果两种状态对应的是 true 和 false | |
序数 | 序数属性的值提供足够的信息确定对象的序（>,<） | |
数值的，定量的 | 区间 | 对于区间属性，值之间的差是有意义的，即存在测量单位（+，-） |
比率 | 对于比率变量，差和比率都是有意义的（*，/） |
机器学习中的分类算法通常把属性分为离散的和连续的。
2.3数据间相互关系：
特征与特征；特征与目标变量。
2.4用pandas_profiling生成数据报告。
tsv和csv区别：
TSV是用制表符作为字段值的分隔符，CSV是用半角逗号作为字段值的分隔符。
python的CSV模块准确来说是DSV模块。delimiter-separated values。
3.代码实现
3.1读取文件
3.2数据总体了解
下面对列名介绍特征含义：
- id 为贷款清单分配的唯一信用证标识
- loanAmnt 贷款金额
- term 贷款期限（year）
- interestRate 贷款利率
- installment 分期付款金额
- grade 贷款等级
- subGrade 贷款等级之子级
- employmentTitle 就业职称
- employmentLength 就业年限（年）
- homeOwnership 借款人在登记时提供的房屋所有权状况
- annualIncome 年收入
- verificationStatus 验证状态
- issueDate 贷款发放的月份
- purpose 借款人在贷款申请时的贷款用途类别
- postCode 借款人在贷款申请中提供的邮政编码的前3位数字
- regionCode 地区编码
- dti 债务收入比
- delinquency_2years 借款人过去2年信用档案中逾期30天以上的违约事件数
- ficoRangeLow 借款人在贷款发放时的fico所属的下限范围
- ficoRangeHigh 借款人在贷款发放时的fico所属的上限范围
- openAcc 借款人信用档案中未结信用额度的数量
- pubRec 贬损公共记录的数量
- pubRecBankruptcies 公开记录清除的数量
- revolBal 信贷周转余额合计
- revolUtil 循环额度利用率，或借款人使用的相对于所有可用循环信贷的信贷金额
- totalAcc 借款人信用档案中当前的信用额度总数
- initialListStatus 贷款的初始列表状态
- applicationType 表明贷款是个人申请还是与两个共同借款人的联合申请
- earliesCreditLine 借款人最早报告的信用额度开立的月份
- title 借款人提供的贷款名称
- policyCode 公开可用的策略代码=1新产品不公开可用的策略代码=2
- n系列匿名特征 匿名特征n0-n14，为一些贷款人行为计数特征的处理
data_train.info()#展示所有信息：
行数、列数。
各特征非空值数量，数据类型（int64/float64/object 等）。
内存占用量
data_train.describe()#文件信息描述，包括：
count返回数组的个数
mean返回数组的平均值
std返回数组的标准差
min返回数组的最小值
25%数组的25%位置的数值
50%数组中位数
75%数组的75%位置的数值
max返回数组的最大值
data_train.head(3).append(data_train.tail(3))#拼接
头三行拼接尾三行
3.3数据缺失值、唯一值
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
