wx5d42865f47214的博客_大数据培训原创博文(2)

好程序员大数据分享Spark任务和集群启动流程

　　好程序员大数据分享Spark任务和集群启动流程，Spark集群启动流程　　1.调用start-all.sh脚本,开始启动Master　　2.Master启动以后,preStart方法调用了一个定时器,定时检查超时的Worker后删除　　3.启动脚本会解析slaves配置文件,找到启动Worker的相应节点.开始启动Worker　　4.Worker服务启动后开始调用preStart方法开始向所有

Spark

大数据培训

好程序员

原创 2019-08-19 15:46:41 358 阅读

好程序员大数据学习路线分享Actor学习笔记

　　好程序员大数据学习路线分享Actor学习笔记，在scala中她能实现很强大的功能,他是基于并发机制的一个事件模型我们现在学的scala2.10.x版本就是之前的Actor 同步:在主程序上排队执行的任务,只有前一个任务执行完毕后,才能执行下一个任务异步:指不进入主程序,而进入"任务对列"的任务,只有等主程序任务执行完毕,"任务对列"开始请求主程序,请求任务执行,该任务会进入主程序 java共享

大数据培训

好程序员

学习路线

Actor

原创 2019-08-19 15:16:23 327 阅读

好程序员大数据学习路线分享Hbase指令学习

好程序员大数据学习路线分享Hbase指令学习启动：1、启动zk zkServer.sh start2、启动hdfs start-dfs.sh3、启动hbase服务 start-hbase.sh （启动报错的话要kill QuorumPeerMain的进程，在重新启动）4启动客户端： hbase shell时间必须同步，不然也会报错 TIMERANGE=>[xxx

Hbase

好程序员

大数据学习路线

原创 2019-08-16 16:16:24 328 阅读

好程序员大数据学习路线分享spark之Scala

好程序员大数据学习路线分享spark之Scala，基本语法：变量变量的定义：不可变：val a = 2 或者 val a : Int = 2 (指定了数据类型) lazy val a : Int =2可变：var a = 2 或者 var a : Int = 2(指定了数据类型)def a = 2定义变量不能1.以数字以及特殊符号（_除外）开头 2.以关键字（var、val、class等

Scala

spark

大数据学习路线

原创 2019-08-16 16:09:24 330 阅读

好程序员分享大数据的架构体系

好程序员分享大数据的架构体系： flume采集数据 MapReduce HBse (HDFS) Yarn 资源调度系统展示平台数据平台 1，提交任务 2，展示结果数据 spark 分析引擎 S3 可以进行各种的数据分析，可可以和hive进行整合

架构体系

好程序员

大数据学习路线

原创 2019-08-13 17:02:33 721 阅读

好程序员大数据学习路线Hbase总结

好程序员大数据学习路线Hbase总结，为什么有hbase　　随着数据的逐渐增大，传统的关系型数据库无法满足对数据的查询和存储，而hive不是数据库，只是数据仓库，虽然能够满足简单的存储要求，但是始终无法满足对非结构化和半结构化的数据的存储和查询 2hbase是什么　　Hbase是阿帕奇旗下的一款开源的，多版本的，可扩展的非关系型数据库。　　他是基于谷歌的bigtable的基础上，建立在hdfs上的

Hbase

大数据培训

好程序员

原创 2019-08-13 16:30:40 236 阅读

好程序员大数据学习路线之Logstach与flume对比

好程序员大数据学习路线之Logstach与flume对比，没有集群的概念,logstach与flume都称为组logstash是用JRuby语言开发的组件的对比:　　logstach : input filter output　　flume : source channel sink 优劣对比:logstach : 安装简单,安装体积小有filter组件,使得该工具具有数据过滤,

Logstach

flume

大数据学习路线

好程序员

原创 2019-08-13 16:21:18 315 阅读

好程序员大数据学习路线之mapreduce概述

　　大数据学习路线之mapreduce概述，mapreduce：分布式并行离线计算框架，是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；　　与HDFS解决问题的原理类似，HDFS是将大的文件切分成若干小文件，然后将它们分别存储到

mapreduce

好程序员

大数据学习路线

原创 2019-08-13 16:04:59 600 阅读

好程序员大数据学习路线分享ELK技术

好程序员大数据学习路线分享ELK技术，bin存放elasticSearch 运行命令 config 存放配置文件 lib 存放elasticSearch运行依赖jar包 modules 存放elasticSearch 模块 plugins 存放插件 1.1． Elasticsearch与Mysql对比Elasticsearch 集群

ELK

大数据

好程序员

原创 2019-08-12 17:16:54 629 阅读

好程序员大数据学习路线分享ELK技术

好程序员大数据学习路线分享ELK技术，bin存放elasticSearch 运行命令 config 存放配置文件 lib 存放elasticSearch运行依赖jar包 modules 存放elasticSearch 模块 plugins 存放插件 1.1． Elasticsearch与Mysql对比Elasticsearch 集群

ELK

大数据

好程序员

原创 2019-08-12 17:14:37 278 阅读

好程序员大数据学习路线hive内部函数

好程序员大数据学习路线hive内部函数，持续为大家更新了大数据学习路线，希望对正在学习大数据的小伙伴有所帮助。1、取随机数函数：rand()语法:rand(),rand(intseed)返回值:double说明:返回一个0到1范围内的随机数。如果指定seed，则会得到一个稳定的随机数序列selectrand();selectrand(10);2、分割字符串函数:split(str,splitor)

hive

内部函数

大数据

原创 2019-08-12 16:31:56 357 阅读

好程序员大数据学习路线分享hive的运行方式

　　好程序员大数据学习路线分享hive的运行方式，hive的属性设置：1、在cli端设置(只针对当前的session)3、在java代码中设置(当前连接)2、在配置文件中设置(所有session有效)设置属性的优先级依次降低。cli端只能设置非hive启动需要的属性。(log属性,元数据连接属性)查找所有属性：hive>set;查看当前属性的值：通常是hadoophive>set-v;

hive

大数据

原创 2019-08-07 16:42:48 527 阅读

好程序员大数据学习路线之hive表的查询

　　好程序员大数据学习路线之hive表的查询　　1.join查询　　1、永远是小结果集驱动大结果集(小表驱动大表，小表放在左表)。2、尽量不要使用join，但是join是难以避免的。　　leftjoin、leftouterjoin、leftsemijoin(左半开连接，只显示左表信息)　　hive在0.8版本以后开始支持leftjoin　　leftjoin和leftouterjoin效果差不多　　

好程序员

hive表

大数据学习路线

原创 2019-08-05 16:30:41 350 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

好程序员