一、数据提取:从原始数据源中提取、收集和整理数据的过程,主要包括以下几个方面:

1、数据收集:从不同的数据源收集数据,例如数据库、文件、外部数据源等。

2、数据清洗:对提取的数据进行去重、过滤、修正等操作,以确保数据的质量和准确性。

3、数据转换:将数据从一种格式或结构转换为另一种格式或结构,以便更好地进行分析和处理。在hadoop 中,不同的存储格式,性能及处理场景大大不同。

4、数据整合:将来自不同来源的数据进行整合和汇总,以便进行统一的数据分析。

二、数据分析则是在数据提取的基础上,利用适当的统计对数据进行深入分析的过程

1、数据描述:对数据进行汇总和描述,例如计算平均值、中位数、标准差等统计量。

2、数据可视化:通过图表、图形和图像等形式将数据呈现出来,以便更直观地理解和传达数据的信息。

3、数据挖掘:利用机器学习、数据挖掘等技术从大量数据中挖掘隐藏的模式、关联和趋势。例如回归模型、分类模型等,以便对数据进行预测和预测分析。