数据分析专题阅读-笔记&体会
- 整体计划
- 《深入浅出数据分析》
- 《数据挖掘 你必须知道的32个案例》
- 《大数据之路,阿里大数据实践之路》
整体计划
阅读计划:入门书籍
《深入浅出数据分析》
《数据挖掘-经典的32个案例》
实践案例:
《大数据之路》
《sql进阶》
《深入数据分析-python/pandas》
《深入浅出数据分析》
阅读前三章感想:
1:对话以及提问的方式,阅读轻松,理解深刻
2:案例比较简单,也很有代表性。非常不错
学到了什么
- 数据分析:(少女洗面乳案例)
1:数据分析的基本套路:问题-》分解-》评估-》决策
2:一轮套路下来,一般解决不了问题,需要反复多次的拆解问题、分析评估、下决策 - 检验理论(星巴克案例)
1.观察研究法,一般是第一步分析,比较感性,不够客观,但是必不可少
2 需要在数据分析的时候排除干扰因素 (如案例中的地址)
3 可以使用对照试验的方式,验证分析结果。但是注意,对照试验要排除一些直接影响结果的因素(比如仓储数智化,按仓对比,仓库有很多理由挑战你的数据差异性,要排除这些差异导致的结果因素)
4 排除一些重大影响因素外后,就可以使用随机对照的方式,更加有力的证明数据分析带来的结果影响 - 寻找最大值(生成橡皮鸭和橡皮鱼最大利润问题)
1.最优化问题(借助目标函数发现目标)
2.任何最优化问题都有一些约束条件和一个目标函数
3.简单的二维问题,可以利用象限图表进行展示,求出限制条件。
4.理由solver解决求最值的问题。
《数据挖掘 你必须知道的32个案例》
整体感觉
阅读前3章,写的比较浅,很多大白话,概念一笔带过,案例也没什么深度。本书更大的价值可能是让大家知道,某种算法可以解决某类问题
《大数据之路,阿里大数据实践之路》
整体感受
阿里出品,整本书围绕阿里大数据体系展开,从方法论、架构、落地案例都比较全面,比较偏实践
学到了什么
1:数据分层架构原则、阿里大数据体系内的规范
ods->dwd->dws->ads
maxcompute 整体架构:
stream compute 整体架构: