从2月28号开始报名大数据微专业，到4月29号看完最后模块的视频。两个月的时间，收获非常大。早在上班的时候就对大数据的技术非常好奇，后来考了研，终于有时间和机会来系统地学习。由于我不是cs本科出身，在报名这门课之前，我自己学习了很多前置知识，比如linux，数据库，java，python。我能在比较短的时间内完成这门课的学习主要得归功于前置知识的掌握
原创
2018-05-15 10:41:57
823阅读
点赞
写了几年代码，看到这些年大数据，AI闹得火热火热，也想系统学习下大数据方面的东西，给自己充电一下。其实随着IT技术的发展，我们行业(地理信息)也已经开始拥抱大数据了。越来越多的带有位置的非结构化的数据需要处理，需要进一步挖掘。好了，废话不多说了。下面开始分享下，学习大数据这门过程中的一些心得。其实，大数据这门课，学起来还是得要有些知识储备的，比如最基本的linux操作，以及操作hive以及mysq
原创
2018-01-09 11:24:38
2029阅读
点赞
4评论
随着各行各业的数据量快速增长，无论是从对数据的存储、分析、处理和挖掘等方面提出了越来越高的要求。IT行业正在逐渐向“DT”行业转变，未来是以数据为驱动的。所以我认为大数据是未来一个主流方向，了解和学习大数据对我们以后的工作和生活都有一定帮助。 近期我个人学习了大数据工程师微职位这门课，并且已经通过了所有的考核。下面切入正题，分享一下我的学习心得
原创
2017-09-05 22:25:05
1487阅读
点赞
1评论
随着各行各业的数据量快速增长，无论是从对数据的存储、分析、处理和挖掘等方面提出了越来越高的要求。IT行业正在逐渐向“DT”行业转变，未来是以数据为驱动的。所以我认为大数据是未来一个主流方向，了解和学习大数据对我们以后的工作和生活都有一定帮助。 近期我个人学习了大数据工程师微职位这门课，并且已经通过了所有的考核。下面切入正题，分享一下我的学习心得，因为篇幅关系，不涉及具体知
转载
2017-12-21 16:51:14
10阅读
如何跟一个非相关性的人解释你是做大数据的，你是做大数据的哪一部分工作，从求职者角度，如何从jd描述中估摸大概率做哪一块，从猎头角度，如何从一份简历中看出你更匹配哪个jd1.相关技术大数据开发的技术名词无非是下面几种，Hadoop,Hive,Spark,Kafka,Sqoop,Flink,Oozie,Hbase,hue但是大数据架构根据每个厂的基础建设不同，可能会有不同的方案，但是总的流程是大致一致
转载
2021-04-07 13:47:20
796阅读
2评论
大家好，是我大数据工程师班级学员小陈，以下是我学习课程的一些经验分享，个人经验仅供参考。大数据课程的安排由浅入深，从相关的java语言入门到spark源码、spark ml等机器学习相关内容，都是一环扣一环，安排得非常合理。Java相关的课程是李兴华老师的课程，但看的内容不是非常多，还是结合《java从入门到精通》这本书，慢慢学的。后面大数据课程把前面的李兴华老师的内容更换为汤老师的讲解java课
转载
2021-02-02 16:15:46
214阅读
我的本科专业是车辆工程，研究生阴差阳错成了医疗信息。虽说转行程序猿工资可能会提高，但对于编程只学过c和简单web的我，从头学习计算机还是有很大压力的。对此，我希望可以系统的学习编程，更快的入门。所以，我选择了报班。在仔细的了解下，选择了51CTO的《PHP微职位》作为开始的第一课。幸运的是，主讲老师是李炎恢老师，之前就听过他的HTML和PHP课程，喜欢他的教学风格。漫长的“脱发”之旅也就这么开始了
原创
2020-02-17 16:58:04
235阅读
大数据是个铺天盖地的词，而谈论大数据又不可避免地要提到Hadoop，Hadoop到底是什么玩意，以及有何功用。 Hadoop是Apache软件基金会管理的开源软件平台，但Hadoop到底是什么呢？简单来说，Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法。Hadoop被设计成一种非常“鲁棒”的系统，即使某台服务器甚至集群宕机了，运行其上的大数据分析应用也不会中断。此外H
转载
2023-07-20 17:53:41
0阅读
这是大数据入门常识第二篇，主要讨论大数据工作的方向问题。第一篇没看的同学可
原创
2023-01-26 13:34:28
141阅读
大数据团队必须设置的五种职位作者：chszs，转载需注明。博客主页：http://blog.csdn.net/chszs麦肯锡认为，大数据团队必须有五种职位：1）数据卫生员(Data Hygienists) - 这些人，确保数据总是干净的、准确的。2）数据探索者(Data Explorers) - 这些人在大数据项目找到你真正需要的数据。3）企业解决方案架构师(Business Solution Architects) - 这些人把收集的数据组织在一起，以便用于分析，他们负责设计数据的结构，以确保数据可以有效地供所有用户检索，有些数据的访问需要数分钟、甚至数小时，例如，需要每分钟或每小时使更新
转载
2013-07-28 21:59:00
132阅读
2评论
大数据团队必须设置的五种职位作者：chszs，转载需注明。博客主页：
原创
2013-07-27 18:04:38
26阅读
大数据团队必须设置的五种职位作者：chszs，转载需注明。博客主页：http://blog..net/chszs麦肯锡认为，大数据团队必须有五种职位：1）数据卫生员(Data Hygienists) - 这些人，确保数据总是干净的、准确的。2）数据探索者(Data Explorers) - 这些人在大数据项目找到你真正需要的数据。
转载
2013-07-27 20:23:00
61阅读
通过采集招聘网站大数据职位信息、利用数据清洗、数据分析、jieba分词、数据挖掘完成整体项目的开发工作。任务包含爬取招聘网站大数据职位信息、使用BeautifulSoup清洗职位信息网页、使用PySpark对智联
原创
2021-12-28 17:24:17
842阅读
1. 了解微信、微博、小视频每天产生的数据量与数据类型。微信：数据量：月活量高达10亿，日活量有3千万之多，十分的稳定，是我国国民级别的app,可以说是现在社会已经离不开它们了。数据类型：主要是聊天记录。 微博：数据量： 月活量也在3亿左右。日活量有1千万之多，在有骇人听闻，或者振奋人心的新闻出现时就在短短几个小时内超过微信的数
转载
2023-12-04 20:00:46
269阅读
一、在校情况大学期间普通学渣一名。跟很多小伙伴一样，大一大二在社团划水，大三开始有点觉悟了，开始网上找一些教学视频在寝室边看边学，那个时候因为没有什么基础，学习起来很困难很多时候想要放弃。但是迫于就业与家里人攀比自己孩子的就业问题所带来的压力，一直坚持看黑马分享出来的基础视频教程，等到毕业那年还好找到了一份不错的工作，虽然工资不是很高，但是相对较于稳定有更多的学习时间。于是就继续在网上搜索各种基础
转载
2021-02-02 16:14:46
107阅读
我的学习我也分享下吧，其实每个阶段学完都想分享一下，只是想不起来写博文。我学大数据的理由其实吧，主要就是我现在的岗位是测试，未来比较担心发展，如果有机会可能会考虑下转岗，感觉大数据这个领域可能更合适点，也跟我现在公司所属行业更接近。我现在公司所属行业是存储行业，接触的技术比较多的是Ceph与OpenStack，公司内也有个大数据组，未来会有大数据结合存储的产品，也许基础有点，入门容易点。当然我学习
原创
2017-03-17 21:45:13
514阅读
1、Linux上的文件管理类命令都有哪些，其常用的使用方法及其相关示例演示。答：文件管理：cp, mv, rm复制命令：cpcp [OPTION]... [-T] SOURCE DEST cp [OPTION]... SOURCE... DIRECTORY cp [OPTION]... -t
原创
2017-07-01 10:10:44
635阅读
1、请描述网桥、集线器、二层交换机、三层交换机、路由器的功能、使用场景与区别。1）集线器： 集线器（Hub）是指将多条以太网双绞线或光纤集合连接在同一段物理介质下的设备，主要功能是对接收到的信号进行放大，以扩大网络的传输距离，工作于OSI(开放系统互联参考模型)参考模型第一层，即“物理层”。 集线器是一个多端口的中继器，只负责节点间数据的传递和信
原创
2017-08-06 18:22:25
623阅读
1、写一个脚本，判断当前系统上所有用户的shell是否为可登录shell（即用户的shell不是/sbin/nologin）；分别这两类用户的个数；通过字符串比较来实现； 1）创建文件 ]# vim usershells.sh#!/bin/bash# check current system all users is its login she
原创
2017-08-26 09:22:08
538阅读
点赞
终端，顾名思义整个计算机及操作系统组成的最终端口，它是提供用户和主机（操作系统）进行交互的必要设备，但终端的概念又有如下几个1、物理终端：在我们安装完成操作系统后，打开主机电源，直接接入主机的显示器和输入设备被称为物理终端。在Linux中的文件为：/dev/console2、虚拟终端：附加在物理终端之上的以软件方式虚拟实现的终端，也可理解为操作系统提供给用户的操作界面，其中包括图形界面和命令行界面
转载
2017-09-23 17:31:28
522阅读
