因为要完成毕业设计的原因,这段时间在家在学习相关的大数据,机器学习方面的内容。在记录学习python之前,先记录一下关于hadoop的相关安装心得。
hadoop相关的安装
在vmware workstation pro上安装centos7 64位,说来也惭愧,刚开始安装的时候照着网上百度的教程安装的是centos 32位,前面配置hadoop都没有问题,但是后面32位的安装spark的时候就出现了一系列的问题,于是后面借助着自己买的关于大数据的几本书结合起来看,进行的相关的安装。64位一般需要进入BIOS系统,需要开启虚拟化才能进行。然后关于Hadoop的安装我是按照厦门大学的一个开放博客进行配置的,链接我会放在最后。然后这里说说踩到的雷:
1. 我是用的hadoop-2.7.7版本的,在搭配hive和hbase时应该选择相适应的版本,这里我会在后面进行各个版本搭配的相关链接
2. 在完成了hadoop的伪分布式配置之后,我之前纠结于应该是先安装hive,hbase,spark,但是后来我安装的时候发现其实配置的先后环境是没有影响的
Python的学习
因为这次毕设需要做一个有关数据分析处理的模型,经过查阅资料,我需要用到马尔科夫模型或者灰色模型(虽然到目前为止我还没有太弄明白两种算法,如果有看到我的这篇博客的人可以评论给我讲解一下),关于学习python,因为自己又java以及c++的基础,所以一些其他相似的地方理解起来比较容易。学习python语言个人觉得其实更像对数学的一种建模。里面需要更多的对数学有一定的了解和数学思维。就拿最近我正在看的书上的一个内容来说,是在将矩阵,对矩阵的有关操作,个人觉得光看书和视频,对自己提升的帮助不大,学习编程语言如果不进行相应的动手实作会有很大影响。
我在前期才开始学python跟着老师视频走的时候,我是用的python自带的IDLE进行相关的编译(只能说对初学者还是很有帮助的),但是越到后期越会发现如果需要做项目,做工程必不可少的是用集成编译器,这里我使用的是pycharm,跟ideal可以使用相同的账户登录。
python中同样也存在很多很多的库,在我看来最基础的就算turtle库,turtle翻译过来是海龟。也就代表我们使用这个库可以进行一些相关的绘制,可以控制光标在编译出来的绘图窗口进行移动绘图。
我现在也在不断的学习,如果有相关方面的大佬,欢迎大家在评论区进行评论,进行指导交流