- 数据分析的概念
- 数据分析的工作流程
- 数据分析三剑客简介
- ipython模块
- jupyter模块
- Anaconda软件使用
数据分析的概念
数据分析
就是从现有的数据中挖掘出价值
数据分析应用领域
1.商品推荐
eg:在淘宝上搜索了一款产品之后,接下来就会疯狂给你推荐相关产品
2.量化交易
股票、期货等数据分析
3.短视频推送
抖音、今日头条等短视频推荐
为什么数据分析需要学python
python简单易学、并且是数据分析必备的语言
数据分析的工作流程
# 以下工作流程是一般情况下常见流程 也有可能会出现偏差
1.需求分析
分析什么数据、以什么方式分析、想要什么样的结果
2.数据采集
数据的来源:
1.公司内部自带
直接调用即可 如:MySQL/MongoDB
2.网络爬虫获取
需要编写代码 如:爬虫相关技能
3.第三方服务
花钱直接购买
3.数据清洗
针对获取到的数据还需要校验是否符合分析条件 如:缺失数据/异常数据等
4.数据分析
选择相应的计算公式、算法模型分析数据
5.生成数据分析报告
攥写分析报告并给出分析之后的规律及建议
6.数据可视化
将复杂的数据用图标的形式展示出来,便于查看相应规律
数据可视化一般是结合数据分析报告一起
数据分析三剑客简介
1.numpy
数学计算模块,该模块是很多计算模块的底层模块
2.pandas
数据分析最为核心的模块之一、主要用于操作excel表格
3.matplotlib
数据可视化
小疑问
# 既然excel软件可以操作表格数据,那为什么还需要pandas模块?
当表格的数据低于10万行的时候采取excel软件操作方便
但是数据高于10万行之后使用excel软件就会出现卡顿不方便
所以pandas模块能够解决数据量较大的情况下的处理操作
ipython模块
在cmd终端中可以编写python代码 但是存在以下缺陷
1.代码没有提示
2.代码不会自动缩进
3.通篇一个颜色过于单调
在cmd中编写代码是否可以解决掉上面多个缺陷
pip3 install ipython
打开cmd之后直接输入ipython进入全新的编程环境
1.代码有提示
2.代码自动缩进
3.通篇颜色不单调
jupyter模块
pip3 install jupyter
命令行输入jupyter notebook即可
会自动调用当前计算机默认的浏览器打开一个界面
如果调用了非默认浏览器访问地址需要输入一个token值,在启动服务的展示信息中含有
打开的界面取决于终端输入jupyer notebook命令的左侧路径
基本功能
upload用于上传任意类型的文件
# new下拉框
python3用于创建notebook文件
Text File用于创建文本文件
Folder用于创建文件夹
Terminal用于模拟cmd终端
注意事项
1.notebook文件的后缀名是.ipynb 该文件无法以正常的双击直接打开
2.需要使用专门的notebook环境才可以打开并且查看内部的真实数据
以后看到该类型的文件就使用jupyter notebook打开
Anaconda软件
# 内部集成了很多数据分析相关软件及功能 并且自动下载了接近300个数据分析相关模块
去官网下载安装完成之后并不会在界面上生成图标,第一次需要自己搜索打开
点击电脑左下方放大镜搜索anaconda navigator点击启动即可
左侧菜单栏
Home
主要是一些已经准备好的软件 有直接可以使用和下载即可使用
Environments
里面主要包含数据分析相关的模块
Learning
里面含有大量的技术教程
Community
里面含有大量技术交流平台
Jupyter Notebook详细操作
"""
主界面点击jupyter notebook之后无法呼起浏览器打开界面原因在于
原因:当前计算机名词含有中文
"""
单词
cell 单元格
cut 剪切
copy 拷贝
paste 粘贴
above 在...上面
below 在...下面
replace 替换
delete 删除
undo 撤销
split 切割
merge 合并
命令行模式与编辑模式
蓝色对应的是命令行模式、绿色对应的是编辑模式
# 两种模式的切换
1.编辑模式切换到命令行模式 按esc键
2.命令行模式切换到编辑模块 鼠标左键点击即可
快捷键使用
1.运行当前单元格
ctrl+enter
2.运行当前单元格并选中下方的单元格
shift+enter
3.如何书写md格式的标题
方式1:命令行模式下按m键 之后按照警号个数书写几级标题执行即可
方式2:编辑模式下先写文本 之后进入命令行模式按数字来控制几级标题
4.如何在当前单元格的下方新建一个单元格
命令行模式下按b键
5.如何在当前单元格的上方新建一个单元格
命令行模式下按a键
6.如何删除单元格
命令行模式下连续按两下d键
7.如何撤销删除
命令行模式下按z键