wx5d42865f47214的博客_大数据培训

好程序员大数据学习路线分享Scala系列之泛型

　　好程序员大数据学习路线分享Scala系列之泛型，带有一个或多个类型参数的类是泛型的。泛型类的定义：//带有类型参数A的类定义classStack[A]{privatevarelements:List[A]=Nil//泛型方法defpush(x:A){elements=x::elements}defpeek:A=elements.headdefpop():A={valcurrentTop=pee

Scala

泛型

大数据

好程序员

原创 2019-10-10 15:54:43 296 阅读

好程序员大数据学习路线分享Scala系列之对象

好程序员大数据学习路线为大家分享Scala系列之对象1. 单例对象在Scala中没有静态方法和静态字段，但是可以使用object这个语法结构来达到同样的目的1.scala类似于Java中的工具类，可以用来存放工具函数和常量2.高效共享单个不可变的实例3.单例模式单例对象虽然类似于Java中的工具类，但它不是，还是一个对象，可以把单例对象名看做一个贴在对象上的标签。package logging//

Scala

大数据

大数据培训

好程序员

原创 2019-10-09 15:20:32 170 阅读

好程序员大数据学习路线分享Scala系列之对象

好程序员大数据学习路线为大家分享Scala系列之对象1. 单例对象在Scala中没有静态方法和静态字段，但是可以使用object这个语法结构来达到同样的目的1.scala类似于Java中的工具类，可以用来存放工具函数和常量2.高效共享单个不可变的实例3.单例模式单例对象虽然类似于Java中的工具类，但它不是，还是一个对象，可以把单例对象名看做一个贴在对象上的标签。package logging//

Scala

大数据

大数据培训

好程序员

原创 2019-10-09 15:20:25 327 阅读

好程序员大数据学习路线分享Scala系列之对象

好程序员大数据学习路线为大家分享Scala系列之对象1. 单例对象在Scala中没有静态方法和静态字段，但是可以使用object这个语法结构来达到同样的目的1.scala类似于Java中的工具类，可以用来存放工具函数和常量2.高效共享单个不可变的实例3.单例模式单例对象虽然类似于Java中的工具类，但它不是，还是一个对象，可以把单例对象名看做一个贴在对象上的标签。package logging//

Scala

大数据

大数据培训

好程序员

原创 2019-10-09 15:20:15 366 阅读

好程序员大数据学习路线之大数据自学路线二

好程序员大数据学习路线之大数据自学路线二lambda表达式比较lambda表达式和匿名内部类： lambda表达式就是简单的匿名内部类匿名内部类可以为任意接口创建实例，不管接口有多少抽象方法； lambda表达式只能为函数式接口创建实例（即只能有一个抽象方法）基本语法： (参数)->表达式、(参数)->{方法体;} 1.形参：形参列表允许省略形参类型，若形参列表中只有一个参

大数据

好程序员

自学

原创 2019-09-18 10:39:25 497 阅读

好程序员大数据学习路线之大数据自学路线一

好程序员大数据学习路线之大数据自学路线一System类exit()：终止虚拟机gc()：运行垃圾回收机制currentTimeMillis()：返回以毫秒为单位的当前时间arraycopy(Object src,int srcPos, Object dest,int destPos,int length)：从指定源数组中复制一个数组，复制从指定的位置开始，到目标数组的指定位置结束String不可变

System

好程序员

大数据

原创 2019-09-18 10:18:43 344 阅读

好程序员大数据分享零基础学习Hadoop该如何下手

　　零基础学习Hadoop该如何下手，很多同学是通过学习hadoop来学习大数据的,学习资料可能是以图书为主要参考方向，《hadoop权威指南》的确是一本很好的入门大数据图书，但大数据系统本身是分布式系统，所以我以为分布式系统的相关概念才是掌握大数据各类框架、知识的基础。　　　　1 入门：　　hadoop框架是集存储(hdfs)、计算(mr计算模型)、资源管理(yarn)等于一体的综合框架，当然它

Hadoop

大数据

好程序员

原创 2019-09-11 16:19:46 380 阅读

好程序员大数据学习路线分享Scala系列之集合操作函数

好程序员大数据学习路线继续为大家分享Scala系列之集合操作函数4.6集合的重要函数4.6.1sum/max/min/count在序列中查找最大或最小值是一个极常见的需求，如下：valnumbers=Seq(11,2,5,1,6,3,9)numbers.max//11numbers.min//1更高级的例子，其中包含一个书的序列caseclassBook(title:String,pages:In

Scala

大数据培训

好程序员

原创 2019-09-10 16:08:47 323 阅读

好程序员web前端学习路线分享AJAX状态码ajax.status及封装

　　好程序员web前端学习路线分享AJAX状态码ajax.status及封装，AJAX状态码说明　　1**：请求收到，继续处理　　2**：操作成功收到，分析、接受　　3**：完成此请求必须进一步处理　　4**：请求包含一个错误语法或不能完成　　5**：服务器执行一个完全有效请求失败　　100——客户必须继续发出请求　　101——客户要求服务器根据请求转换HTTP协议版本　　200——交易成功　　

AJAX

ajax.status

大数据

好程序员

原创 2019-09-04 14:40:13 336 阅读

好程序员大数据学习路线分享Scala系列之映射Map

好程序员大数据学习路线分享Scala系列之映射Map首先我们先来看一下什么是映射（map）在Scala中，把哈希表这种数据结构叫做映射。1. 构建映射在Scala中，有两种Map，一个是immutable包下的Map，该Map中的内容不可变；另一个是mutable包下的Map，该Map中的内容可变。构建一个不可变的map使用元组方式构建构建一个可变的map2. 获取和修改映射中的值根据键获取map

Scala

Map

大数据

好程序员

原创 2019-09-04 14:33:59 346 阅读

好程序员大数据学习路线分享Scala分支和循环

好程序员大数据学习路线分享Scala分支和循环3.3.条件表达式表达式：一个具有执行结果的代码块。结果是具体的值或者（）表达式的思考方式：以表达式为中心的编程思想1.表达式和语句的区别：表达式有返回值，语句被执行。表达式一般是一个语句块，执行后，返回一个值2.不使用return语句，最后一个表达式即返回值if/else表达式有值，这个值就是跟在if或者else之后的表达式的值objectCondi

Scala

大数据

原创 2019-09-02 17:22:28 354 阅读

好程序员大数据学习路线分享Scala系列之基础篇

好程序员大数据学习路线分享Scala系列之基础篇了解Scala1.1 什么是 ScalaScala 是 Scalable Language 的简写，是一门多范式的编程语言。Scala设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。函数式编程两种理念：就是一种抽象程度很高的编程范式，纯粹的函数式编程语言编写的函数没有变量

Scala

好程序员

大数据

原创 2019-08-30 16:47:34 493 阅读

好程序员大数据学习路线分享MapReduce全流程总结

　　好程序员大数据学习路线分享MapReduce全流程总结，首先，MapReduce是什么？干什么用的？　　MapReduce是一个基于yarn的分布式、离线、并行的计算框架，主要职责是处理海量数据集，是Hadoop生态圈中一个非常重要的一个工具，所以MapReduce是大数据学习的一个很关键的知识点，需要大家好好掌握！　　MapReduce其中包含许多组件，但最主要的还是Job提交和Map、Re

MapReduce

大数据

好程序员

原创 2019-08-29 15:56:55 709 阅读

好程序员大数据学习路线分享HDFS读流程

　　1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件，这时就是HDSF分布式系统所获取的一个对象　　2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置，对于每一个block,NameNode返回一个含有Block的元数据信息，接下来DataNode按照上面定义的距离(offSet偏移量)进行排序,如果Client本身即是一

HDFS

大数据

好程序员

原创 2019-08-28 16:32:18 389 阅读

好程序员大数据学习路线分享Hadoop阶段的高可用配置

　　大数据学习路线分享Hadoop阶段的高可用配置，什么是Hadoop的HA机制　　Ha机制即Hadoop的高可用（7*24小时不中断服务）　　正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制　　hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HAHDFS的HA机制详解HDFS的HA主要是通过双namenode协调工作实现双namenode协调

Hadoop

大数据

好程序员

原创 2019-08-28 15:59:15 282 阅读

好程序员大数据学习路线之zookeeper干货

　　好程序员大数据学习路线之zookeeper干货，上周学习了zookeeper，一开始感觉不容易理解，后来随着学习的深入，渐渐地明白了很多知识，下面慢慢来介绍zookeeper。　　zookeeper是什么？？？　　zookeeper是一个分布式协调服务，就是为用户的分布式应用程序提供协调服务的。　　zookeeper是为其他的分布式程序提供服务的　　zookeeper本身就是一个分布式程序（只

zookeeper

大数据

好程序员

原创 2019-08-28 15:48:05 363 阅读

好程序员大数据学习路线分享MapReduce全过程解析

　　好程序员大数据学习路线分享MapReduce全过程解析，移动数据与移动计算　　在学习大数据的时候接触了移动数据和移动计算这两种联系紧密而又有很大不同的概念，其中移动计算也叫做本地计算。　　在以前的数据处理中时使用的移动数据，其实就是将需要处理的数据传输到存放不同处理数据方式逻辑的各个节点上。这样做的效率很低，特别是大数据中的数据量是很大的，至少都是GB以上，更大的是TB、PB甚至更大，而且磁盘

解析

MapReduce

大数据

好程序员

原创 2019-08-27 16:22:57 273 阅读

好程序员大数据学习路线分享AWK详解

　　好程序员大数据学习路线分享AWK怎详解，awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。　　awk是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息

AWK

大数据

好程序员

原创 2019-08-27 16:05:31 258 阅读

好程序员大数据学习路线分享hadoop常用四大模块文件

　　1.1.1core-site.xml(工具模块)　　包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。　　　　1.1.2hdfs-site.xml(

hadoop

大数据

好程序员

原创 2019-08-27 15:59:19 331 阅读

好程序员大数据学习路线Hadoop学习干货分享

　　好程序员大数据学习路线Hadoop学习干货分享，ApacheHadoop为可靠的，可扩展的分布式计算开发开源软件。ApacheHadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。包括这些模块：HadoopCommon：支持其他Hadoop模块的常用工具。Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量

Hadoop

大数据

好程序员

原创 2019-08-27 15:53:12 353 阅读

好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖，大数据各个平台上的语言实现hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算存储: hbase --> 数据成表处理: hive --> 数据仓库的工具计算: mapreduce --> 入门级hive java实现flink 流失处理 scala实现 --> 计算引擎kaf

函数

映射

元祖

大数据

好程序员

原创 2019-08-23 17:05:57 420 阅读

好程序员大数据学习路线分享分布式文件系统HDFS

好程序员大数据学习路线分享分布式文件系统HDFS，设计目标：1、存储量大2、自动快速检测应对硬件错误3、流式访问数据4、移动计算比移动数据本身更划算5、简单一致性模型6、异构平台可移植特点优点：高可靠性：Hadoop按位存储和处理数据的能力强高扩展性：hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中高效性：hadoop能够在节点之间动态地移动数据

HDFS

好程序员

大数据学习路线

原创 2019-08-22 16:30:59 347 阅读

好程序员大数据学习路线分享MAPREDUCE

　　好程序员大数据学习路线分享MAPREDUCE，需求：统计大量的文本文件中的单词出现的次数1）整个运算需要分阶段阶段一：并行局部运算阶段二：汇总处理，不同的阶段需要开发不同的程序2）阶段之间的调用3）业务程序（task程序）如何并发到集群并启动程序4）如何监控task程序的运行状态，如何处理异常::这些问题是开发分布式程序都会面临的问题，完全可以封装成框架::MR的结构一个完整的MapReduc

MAP

MAPREDUCE

大数据

好程序员

原创 2019-08-22 16:15:27 382 阅读

好程序员大数据学习路线分享高阶函数

　　好程序员大数据学习路线分享高阶函数，我们通常将可以做为参数传递到方法中的表达式叫做函数高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。定义函数时格式：val变量名=(输入参数类型和个数)=>函数实现和返回值类型和个数“=”表示将函数赋给一个变量“=>”左面表示输入参数名称、类型和个数，右边表示函数的实现和返回值类型和参数个数作为值的函数定义函数scala>valfun

高阶函数

大数据

好程序员

原创 2019-08-21 15:52:02 266 阅读

好程序员大数据学习路线分享弹性分布式数据集RDD

　　好程序员大数据学习路线分享弹性分布式数据集RDD，RDD定义，RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变(数据和元数据)、可分区、里面的元素可并行计算的集合。RDD的特点:自动容错,位置感知性调度和可伸缩性RDD的属性1.一组分片即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，

rdd

大数据

好程序员

原创 2019-08-21 15:44:45 284 阅读

好程序员大数据学习路线分享scala单列和伴生对象

好程序员大数据学习路线分享scala单列和伴生对象scala单例objectSingletonDemo{defmain(args:Array[String]):Unit={vals=SessionFactoryprintln(s.getSession)println(s.getSession.size)//.size得到几个session对象}}objectSessionFactory{print

scala

好程序员

大数据

原创 2019-08-21 15:36:01 195 阅读

好程序员大数据培训分享关于kafka的几个重要问题

　　好程序员大数据培训分享关于kafka的几个重要问题：　　1.segment的概念　　topic中会有一个到多个分区，每个分区中会有多个segment，segment的大小在kafka的配置文件里可以设置，segment的大小是相等的，每个segment有多个index文件和对应的数据文件组成的　　2.数据存储机制？（数据写入快的原因）　　首先是broker接收到数据，将数据放到操作系统(lin

kafka

大数据培训

好程序员

原创 2019-08-20 16:22:28 514 阅读

好程序员大数据学习路线分享HDFS学习总结

好程序员大数据学习路线分享HDFS学习总结，HDFS介绍 HDFS(Hadoop Distributed File System)是分布式文件系统,是Hadoop项目的核心子项目. 设计思想:将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 HDFS的重要特性 1. HDFS中的文件在物理上是**分块存储**(block)，块的大小可以通过配置参数(

HDFS

大数据

大数据培训

原创 2019-08-20 16:16:18 364 阅读

好程序员大数据学习路线分享hive分区和分桶

好程序员大数据学习路线分享hive分区和分桶，hive分区1.为什么要分区？？当单个表数据量越来越大的时候，hive查询通常会全表扫描，这将会浪费我们不关心数据的扫描，浪费大量时间。从而hive引出分区概念partition2.怎么分区？？看具体业务，能把一堆数据拆分成多个堆的数据就可以。通常使用id 、年、月、天、区域、省份、 hive分区和mysql分区的区别？？ mysql的分

hive

hive分区

大数据

好程序员

原创 2019-08-20 15:56:20 411 阅读

大数据学习路线分享Master的jps

大数据学习路线分享Master的jps，SparkSubmit 　　类启动后的服务进程,用于提交任务,　　哪一段启动提交任务,哪一段启动submit(Driver端) 提交任务流程1.Driver端提交任务到Master(启动sparkSubmit进程)2.Master生成任务信息,放入对列中3.Master通知Worker启动Executor,(Master过滤出存活的Worker,将任务分配给

Master

jps

好程序员

大数据培训

原创 2019-08-19 15:58:00 400 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

好程序员