hadoop完全分布式的搭建思路？jdk必须安装，所有机器都是一样的。环境变量是PATH,但是在配置PATH的时候，一定要加上.;这是系统原来的环境变量，如果不加这个，可能再次开不出机器。Hadoop安装，可以放在yarn，也可以不放在yarn，环境变量HADOOP_HOME,JAVA_HOME(这个主要是切换jdk来用的，j2ee就是这样的）所有机器的host里面必须有对应的主机，各个子节点的I
排序经常会用，但是怎么在大数据中，以Map，Reduce这种形式来进行实现了？首先你要明确目标对象，对谁进行排序，如果是自定义的对象，需要实现其CompareTo方法，因为这个是对象之间比较大小的方法。另外你需要设计排序策略，特殊情况，正常情况，编程的时候，应该先写特殊情况，最后写正常情况，这样的话，逻辑更加清晰。如何设计呢？首先按照正常逻辑写好Map和Reduce程序，然后输出，最后得到的是一些
partioner在Hadoop中是干什么的？其实这个都是为shuffle服务的，怎么说，其实就是根据一些策略，将这个分区里面的那些数据分配给哪个reducer,举个例子，有很多关键字key1,text1,key2,text2,有两个reducer1,reducer2,为什么会将key1，走的是reduce1，key2，走的是reduce2，为什么会这样，这就看它分区的策略了。partioner可
我们再编程的时候，经常会出现这样的代码，你是否有过疑惑？//第一句代码返回了一个RDDVal a=sc.parallelize(List("bit","linc","xwc","fjg","wc","spark"),3)//这句代码疑惑在这里，计算每个元素的单词长度呢？Val b=a.map(word=>word.length)//上面的代码a,与b都是RDD，从a-到b它的RDD是如何转换
Spark中最重要的机制有那些？1.RDD，2.Spark调度机制，3Shuffle过程什么是RDD?可以这么说，你懂了RDD，基本上就可以对Hadoop和Spark的一半给吃透了，那么到底是RDDRDD(弹性分布式数据集）首先体现数据集，RDD是对原始数据的封装，该种数据结构内部可以对数据进行逻辑分区，其次分布式体现是并行计算以及需要解决容错问题，也就是根据依赖，找到第一层RDD，最后根据RDD
combiners（合并）是什么？combiners是一个特殊的reduce，是一个本地的reducer。将其中的map里面的key值数量合并累加。然后继续发给reducer.一块分区对应着一个map，一个map对应着一个分区里面的数据。
什么是Zookeeper？Zookeeper是Hadoop分布式的协调服务,zookeep主要解决单点故障（如Hadoop1.0版本上的namenode，和hbase中的hmaster等等，zookeeper是运行在Hadoop2.0上的）。Zookeeper的运行原理？Zookeeper的设置必须是奇数台计算机，它里面主要连个角色，一个是leader，一个是follower，当其中leader，
1.自己设计一个并行计算框架，应该需要考虑那些问题呢？第一个问题是：并行计算肯定是多台计算机吗，多台计算机他们之间如何划分任务？这个地方总归有一个模块来分发任务，也就意味这它就是老大，它来维护任务或者资源mapreduce在hadoop 1.x版本上是jobtracker,hadoop 2.x版本是通过yarn来管理的,它是ResourceManager,来管理其他节点以及如何分布任务的。小弟在H
什么是RPC?RPC（remote precedure call)远程过程调用，意思就是不同进程方法调用。举例来说
hdfs（hadoop分布式系统）设计需要考虑的问题？第一个就是数据是如何存储吗（数据的物理存储）每台机器上都有个datanode节点。这个节点是用来存储数据的。hdfs对一个大的文件进行分块，每个版本对每一个分块大小可能不尽相同。Hadoop 1版本默认是64M，假设80M东西，就被分成64M和16M东西。那么他是按照这样的格式来划分的。每个快是分散存储的。可能这个快64M是在这个datonod
ssh是什么东西？在Linux系统中，OpenSSH是目前最流行的远程系统注册与文件传输应用，也是传统的Telnet，ftp的网络应用的换代产品,OpenSSH不仅适用于Linux系统，也可以适合多种Unix系统，而且起ssh与scp等客户端软件也适用于Windows操作系统。如有必要，Windows用户可以采用windows版的scp客户端软件，即winscp，在Windows系统与linux系
http://www.aboutyun.com/thread-6723-1-1.html http://www.cnblogs.com/z1987/p/5055565.html http://blog.csdn.net/lanchunhui/article/details/50893582 https://my.oschina.net/leejun2005/blog/82587 http://ww
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
