本文要回答几个问题,BI、ETL、数据分析都是什么意思?怎么做数据分析?他们之间的关系是什么?

数据分析是什么?

简言之,数据分析是从大量数据中,用适当的统计分析方法,提取出有用信息的过程。

数据分析在企业里通常称为BI,即商业智能business intelligence,是指将企业业务系统中的数据进行统计分析,形成有规律的信息,来辅助用户做出决策。

实现BI的过程就需要ETL,ETL的流程通常是:

1、获取数据extract

2、转换、清洗数据transform

3、加载调取数据load

4、图表统计展现BI

数据分析怎么做?

大家都有过下饭馆或者做菜的经验吧?要经过客人点菜,厨房做菜,服务员上菜的过程,做数据分析的过程也类似,可分为五个步骤:

1.明确需求——点菜

明确需求是核心,要知道用户的目的是什么,需求分析人员要全面了解、理解业务,并得到关键用户对业务逻辑的认可和确认,而不能自己猜测用户的需求逻辑,避免徒劳无益,之后的所有步骤也都要以业务需求为核心来进行。

2.数据采集、清洗——洗菜

采集:加法,尽可能收集数据,越全面越好,减少数据盲点。

清洗:减法,清洗、修复无效数据(如:错误、重复、残缺记录,缺失值处理等),确保数据分析完整性、准确性。

3.数据处理——配菜

根据业务需求,对数据进行整理(如按条件筛选提取,聚合、分类、汇总等),建立数据模型、数据集。

4.数据分析——做菜

描述性分析:数据的集中趋势——众数、中位数、平均数

数据的离散趋势——最大最小值、极差、四分位差、方差和标准差

几个统计名词

趋势性分析:对同一指标、比率在不同时期的值,进行比较,观察增加变动情况,获得趋势。

——定比、环比、同比

几个比率概念

相关性分析:分析现象间是否存在依存关系,及依存的相关程度和相关方向。——不相关、线性相关、非线性相关、相关但非线性相关。

相关性分析举例

相关系数图

相关系数:是描述线性相关程度的量。

5.结果展现——上菜

将数据分析的结果,以报告、报表、图表、监控仪表盘等形式展现给用户,为决策判断提供支持依据。

由此可见,BI实施过程中,甲方、乙方所扮演的角色分别是:

甲方用户是客人,

乙方厂商是饭馆,

信息图表像菜肴,

需求分析像服务员,

BI工程师像大厨,

ETL工程师像后厨小工,