数据分析的概念

什么是数据分析

就是从现有的数据中挖掘出价值

数据分析应用领域

商品推荐

eg:在淘宝上搜索了一款商品之后 接下来会疯狂给推荐相关的产品

相关产品

  量化交易

    股票 期货 等数据分析

  短视频推送

    抖音 今日头条等短视频推荐

 

数据分析是未来所有公司不可或缺的岗位,目前社会上获取数据的方式太多,这么多的数据,只要我们拥有数据分析的技能,绝对可以应付任何岗位上的工作

为什么数据分析需要学习python

python简单易学 并且是数据分析必备的语言

 

数据分析的工作流程

下述工作流程为一般工作流程 也可能会出现偏差

1.需求分析

搞明白到底要分析什么数据 以什么方式分析 想要什么样的结果

2.数据采集

数据的来源有哪些:

1.公司内部自带

直接调用(大概率会使用到MySQL MongoDB) 

2.网络爬虫获取

需要编写代码 (爬虫相关的技能)

3.第三方服务

花钱直接购买(钱)

3.数据清洗

针对获取到的数据还需要校验是否需要符合分析条件

缺失数据 异常数据。。。。。

4.数据分析

选择相应的计算公式 算法模型分析数据

5.生成数据分析报告

撰写分析报告并且给出分析之后的规律及建议

6.数据可视化

将复杂的数据用图标的形式展示出来 便于查看相应规律

数据可视化一般是结合数据分析报告一起

数据分析三剑客简介

numpy

数学计算模块 该模块是很多计算机模块的底层模块

 

pandas

数据分析最为核心的模块之一 主要用于操作excel表格

 

这个时候问题就来了

既然excel软件可以非常轻松快捷的操作表格数据为什么还需要学习pandas

当表格的数据低于10万行的时候采取excel软件操作方便

但是当数据高于10万行的时候使用excel软件就会出现卡顿不方便

所以pandas模块能够解决数据量较大的情况下的处理操作

 

matplotlib

数据可视化

 

ipython模块

在cmd终端中可以编写python代码 但是存在以下缺陷

1.代码没有提示

2.代码不会自动缩进

3.通篇一个颜色过于单调

 

在cmd中编写代码是否可以解决上面多个缺陷

pip3 install ipython

 

打开cmd之后直接输入ipython进入全新的编程环境

1.代码没有提示

2.代码自动缩进

3.通篇颜色不单调

 

jupyter模块

直接输入pip3 install jupyter

命令行输入jupyter notebook即可

  会自动调用当前计算机默认的浏览器打开一个界面

  如果你调用了非默认浏览器访问地址需要输入一个token值 在启动服务的展示信息中含有

  打开的界面取决于终端输入jupyter notebook命令的左侧路径

右上方功能区域

  upload用于上传任意类型的文件

  new下拉框

    python3用于创建notebook文件

    Text Flie用于创建文本文件

    Folder用于创建文件夹

    Terminal用于模拟cmd终端

notebook文件的后缀名是.ipynb该文件无法正常的双击直接打开

需要使用专门的notebook环境才可以打开并且查看内部的真实数据

  以后看到该类型的文件就使用juputer notebook打开

 

其实该模块就可以进行数据分析相关的工作 但是有一个非常大的缺陷

就是数据分析过程中需要使用到的其他模块都需要自己下载

  并且跟数据分析相关的模块不下于200个

 

Anaconda软件

内部继承了很多数据分析相关软件及功能 并且自动下载了接近300个数据分析相关模块

去官网下载安装完成之后并不会在界面上生成图标 第一次需要自己搜索打开

  点击电脑左下方放大镜搜索anaconda Navicat 点击启动即可

左侧菜单栏

  Home

    主要是一些已经准备好的软件 有直接可以使用和下载即可使用

  Environments

    里面主要包含数据分析相关的模块

  Learing

    里面含有大量的技术教程

  Community

    里面含有大量的技术交流平台

 

Jupyter Notebook详细操作

主界面点击jupyter notebook 之后无法唤起浏览器打开界面原因在于

计算机名词含有中文 

 

单词

cell       单元格
cut        剪切
copy     拷贝
paste    粘贴
above   在...上面
below    在...下面
replace   替换
delete   删除
undo   撤销
split      切割
merge    合并

 

命令行模式与编辑模式

蓝色对应的是命令行模式、绿色对应的是编辑模式

两种模式的切换

编辑模式切换到命令行模式 按esc键

命令行模式切换到编辑模块 鼠标左键点击即可

 

1.运行当前单元格

ctrl+enter

2.运行当前单元格并选中下方的单元格

shift+enter

3.如何书写md格式的标题

方式1:命令行模式下按m键 之后按照警号个数书写几级标题执行即可

方式2:编辑模式下先写文本 之后进入命令行模式按数字来控制几级标题

4.如何在当前单元格的下方新建一个单元格

命令行模式下按b键

5.如何在当前单元格的上方新建一个单元格

命令行模式下按a键

6.如何删除单元格

命令行模式下连续按两下d键

7.如何撤销删除

命令行模式下按z键