文章目录

  • 一、探索性数据分析EDA
  • 二、数据分析图表的选择


一、探索性数据分析EDA

探索性数据分析(Exploratory Data Analysis，简称EDA)，指对数据分析的过程中尽量不加入先验假设，而是通过作图表和统计等方式来探索数据结构和规律。
在EDA中你可以构思各种各样的假设，并通过数据分析去寻找相应的反馈，以此迭代来寻找到数据集中分布的规律。在探索的过程中会随着不断的深入对数据理解更加深刻。
EDA的流程如下：提出问题；筛选、清洗数据；分析数据；构建模型；得出结论。
EDA的过程与数据挖掘的流程不谋而合，特征是否起作用需要具体的分析和验证。从数据本身出发去寻找合适的特征。
在数据竞赛中，使用EDA完成数据分析的过程如下：

  1. 读取并分析数据质量；
  2. 探索性分析每个变量：
    变量是什么类型；
    变量是否有缺失值；
    变量是否有异常值；
    变量是否有重复值；
    变量是否均匀；
    变量是否需要转换；
  3. 探索性分析变量与target标签的关系：
    变量与标签是否存在相关性；
    变量与标签是否存在业务逻辑；
  4. 探索性分析变量之间的关系：
    1）连续型变量与连续型变量;
    可视化：散点图、相关性热力图；皮尔逊系数；互信息；
    2）离散变量与离散变量；
    可视化：柱状图、饼图、分组表；卡方检验；
    3）检查变量之间的正态性；直方图；箱线图；Quantile-Quantile (QQ图)；

根据EDA我们可以得出以下结论：变量是否需要筛选、替换和清洗；变量是否需要转换；变量之间是否需要交叉；变量是否需要采样；

二、数据分析图表的选择

可视化目的：比较/趋势/组成/联系/分布；

可视化变量类型：数值/日期/类别/经纬度；

可视化维度：分布/趋势；

探索性数据分析的特点 探索性数据分析的简称_数据


探索性数据分析的特点 探索性数据分析的简称_数据集_02