零基础入门金融风控之贷款违约

目的：

  • 1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模.
  • 2.了解变量间的相互关系、变量与预测值之间的存在关系。
  • 3.为特征工程做准备
  • 数据总体了解：
  • 读取数据集并了解数据集大小，原始特征维度；
  • 通过info熟悉数据类型；
  • 粗略查看数据集中各特征基本统计量；
  • 缺失值和唯一值：
  • 查看数据缺失值情况
  • 查看唯一值特征情况
  • 深入数据-查看数据类型
  • 类别型数据
  • 数值型数据
  • 离散数值型数据
  • 连续数值型数据
  • 数据间相关关系
  • 特征和特征之间关系
  • 特征和目标变量之间关系
  • 用pandas_profiling生成数据报告SV与CSV的区别：
  • 从名称上即可知道，TSV是用制表符（Tab,'\t'）作为字段值的分隔符；CSV是用半角逗号（','）作为字段值的分隔符；
  • Python对TSV文件的支持： Python的csv模块准确的讲应该叫做dsv模块，因为它实际上是支持范式的分隔符分隔值文件（DSV，delimiter-separated values）的。 delimiter参数值默认为半角逗号，即默认将被处理文件视为CSV。当delimiter='\t'时，被处理文件就是TSV。
  • 特征一般都是由类别型特征和数值型特征组成，而数值型特征又分为连续型和离散型。
  • 类别型特征有时具有非数值关系，有时也具有数值关系。比如‘grade’中的等级A，B，C等，是否只是单纯的分类，还是A优于其他要结合业务判断。
  • 数值型特征本是可以直接入模的，但往往风控人员要对其做分箱，转化为WOE编码进而做标准评分卡等操作。从模型效果上来看，特征分箱主要是为了降低变量的复杂性，减少变量噪音对模型的影响，提高自变量和因变量的相关度。从而使模型更加稳定。

变量分布可视化

  • 数据探索性分析是我们初步了解数据，熟悉数据为特征工程做准备的阶段，甚至很多时候EDA阶段提取出来的特征可以直接当作规则来用。可见EDA的重要性