1.数据分析的定义:数据分析的目的是把隐藏的在一大批看似杂乱无章的数据背后的信息集中提炼出来,总结出所研究出的对象的一大批内在规律。数值也称为观测值,通过实验,测量,观察,调查等方式获取结果,常常以数据的形式展现出来;
2.数据分析分为广义数据分析和狭义数据分析,广义数据分析包括狭义数据分析和数据挖掘,我们常说的数据分析是指狭义数据分析;
3.数据分析(狭义):数据分析是根据分析目的,用适当的分析方法及工具,对数据进行处理和分析,提取有价值的信息,形成有效结论的过程;
数据的分析主要实现三大作用:分别是现状分析和原因分析和预测分析(预测分析主要是主要是指数值预测分析)。数据分析的目标明确,先做假设,然后通过数据分析来验证假设是否正确,从而得到响应的结论;
方法:主要采用对比分析,分组分析,结构分析,分布分析,交叉分析,矩阵分析,回归分析等常用分析方法;
结果:数据分析一般是得到一个指标统计结果,比如综合,平均值,计数;
4.数据挖掘
定义:从大量的数据中,通过统计学,机器学习,数据可视化等方法,挖掘一些位置且有价值的信息何止是的过程;
作用:解决四类问题:分类,聚类,关联,预测;
方法:决策树,神经网络,关联规则,聚类分析,时间序列分析;
结果:输出模型或者规则;
5.数据分析步骤 :
(1)明确分析思路和目标;
(2)数据收集;
(3)数据处理;
(4)数据分析;
(5)数据展现;
(6)报告撰写;
数据处理:主要包括数据清洗,数据转化,数据抽样,数据合并,数据计算等处理方法;
报告撰写:1.分析框架结构化,2.结构明确化。3.建议和解决方案业务化;
5.数据处理:
数据计算:简单计算,时间计算,数据标准化,数据分组;
数据合并:记录合并,字段合并,字段匹配;
数据抽取:字段拆分,记录抽取,随机抽样;
数据的导入和导出:数据导入,数据导出;
数据清洗:数据排序,重复数据处理,缺失数据处理,空数据处理;
数据转换:数值转字符,字符转数值,字符转时间;