数据分析是基于商业目的，有目的的进行收集、整理、加工和分析数据，提炼有价信息的一个过程。


图片发自简书App

其过程概括起来主要包括：

1.    明确分析目的与框架；

2.    数据收集；

3.    数据处理；

4.    数据分析，

5.    数据展现和撰写报告。


图片发自简书App

用Python做数据分析，所需工具包

1.NumPy

NumPy为用户提供了多维数组(数组是沿多个维度排列的数据块，它实现了数学的向量和矩阵。可以存储数据和快速矩阵运算。)，以及对这些数组进行多种数学操作的大型函数集。

安装方法：pip install numpy

2.SciPy

SciPy完善了NumPy的功能，为多种应用提供了大量科学算法，如线性代数，稀疏矩阵，信号和图像处理，最优化，快速傅里叶变换等。

安装方法：pip install scipy

3.Pandas

Pandas拥有特殊的数据结构DataFrames(数据框)和Series，可以处理包含不同类型数据的复杂表格和时间序列。Pandas可加载各种形式的数据，随意对数据进行切片，切块，处理缺失元素，添加，重命名，聚合，整形和可视化等操作。

安装方法：pip install pandas

4.Scikit-learn

它提供了所有机器学习可能用到的工具，如数据预处理，监督学习和无监督学习，模式选择，验证和误差指标等。

安装方法：pip install scikit-learn

5.IPython

它是基于shell，web浏览器和应用程序接口的Python版本，具有图形化集成，自定义命令，丰富的历史记录(JSON格式)和并行计算等增强功能。

安装方法：pip install ipython

6.Matplotlib

它是一个包含各种绘图模块的库，能根据数组创建高质量的图形，并交互式地显示他们。

它提供了pylab模块，pylab包含许多像MATLAB一样的绘图组件。

安装方法：pip install matplotlib


图片发自简书App

7.Statsmodels

Statsmodels模块包含通用线性模型，离散选择模型，时间序列分析，一系列描述统计及参数和非参数检验等特性。

安装方法：pip install statsmodels

8.BeautifulSoup4

它是一个很棒的HTML/XML解析器，用来分析从互联网上抽取的HTML和XML文档。

安装方法：pip install beautifulsoup4

9.NetworkX

它是一个专门进行现实生活网络数据创建，操作，分析和图示的软件包，可以轻松进行具有百万个节点和边的图操作，也为用户提供了许多标准的图的度量方法和算法，如最短路径，中心性，成分，群体，聚类和网页排名。

安装方法：pip install networkx

10.NLTK

自然语言工具箱(NLTK)能访问预料和词汇库，提供从分词到词性标注，从树模型到命名实体识别等统计自然语言处理(NLP)的一整套函数。

安装方法：pip install nltk

11.Gensim

在并行分布式在线算法的帮助下，它能进行大型文本集合分析。Gensim包含许多高级功能，如实现了潜在语义分析(LSA)，通过LDA进行主题建模等，也包含谷歌Word2vec算法，能将文本转换为矢量特征，再使用此矢量特征进行有监督和无监督的机器学习。

安装方法：pip install gensim

欢迎留言交流！