剖析curator的InterProcessMutex分布式实现机制
Hadoop提供存储文件和分析文件的机制。 HDFS负责文件的存储,MapReduce负责文件的分析过程。HDFS主要组件由NameNode和DataNode组成HDFS文件切分成块(默认大小64M),以块为单位,每个块有多个副本存储在不同的机器上,副本数可在文件生成时指定(默认3)NameNode是主节点,存储文件的元数据如文件名,文件目
前言: 本文章是转载的,自己又加上了一些自己的笔记整理的 详细地址请查看Ubuntu 12.04搭建hadoop单机版环境Hadoop的三种运行模式独立模式:无需任何守护进程,所有程序都在单个JVM上执行。伪分布模式:Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。全分布模式:Hadoop守护进程运行在一个集群中。一. 安装Ubuntu;二. 在Ubuntu
Linux 常用用户管理正文:作为一个使用Linux的必然要会基本的用户的管理,对于涉及有关用户管理方面的主要文件有:/etc/passwd:记录该系统的root,系统帐号和一般帐号/etc/shadow:记录该系统每个帐号所对应的密码/etc/group:记录该系统中的所有用户组,/etc/gshadow:用户登录以及对文件的操作,都是首先查看UID和GID,然后将其对应的名称显示出来。 在用户
51CTO博客开发
mac上安装hadoop 1,mac下的javall /usr/bin |grep'java'默认:/System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/java具体的安装路径:/Library/Java/JavaVirtualMachines/下面, JAVA_HOME是/Library/J
MyBatis可以利用SQL映射文件来配置,也可以利用Annotation来设置。MyBatis提供的一些基本注解如下表所示。注解目标相应的XML描述@CacheNamespace类<cache> 为给定的命名空间(比如类)配置缓存。属性:implemetation,eviction,flushInterval , size 和 readWrite 。@CacheNames
一 计算机网络层次架构图二 各个层次主要协议应用层:直接为用户的应用进程服务,协议主要有DNS、HTTP、FTP、TFTP、SMTP、POP3(邮件读取协议)、IMAP(邮件读取协议)、SNMP(简单网络管理协议)、DHCP(动态主机配置协议 )。运输层:负责两个主机中进程之间的提供通信服务。TCP:面向连接,传输单位为报文段,保证可靠交付UDP:无连接,传输单位为用户数据报,不保证可靠交付网络层
已经中序,后序,求先序。先序的顺序为:先根节点,后左子树,后右子树。package whut.tree; //利用java api来进行遍历 ////已知二叉树后序和中序,求先序 public class MiddleAfterTree { //全局变量存放后序序列 //先写根,后写左子树,最后写右子树 public static String res = "";
已知前序与中序的字符序列,输出后序序列。后序序列为:左子树,右子树,根第一种 利用一个索引,从最大索引值写入,依此递减写入右子树和左子树,循环利用递归实现。不使用String类的apipackage whut.tree; //已知二叉树前序和中序,求后序 public class BeforeMiddleTree {
Java非递归方式实现快速排序package sort.algorithm; import java.util.Stack; //快速排序的非递归实现,利用系统的栈stack public class QuickSortNonRecursion { public static void main(String[] args) { QuickSortNonRecursi
单链表逆转置的递归与非递归方式package link.reverse; // 定义一个单链表 class Node { //变量 private int record; //指向下一个对象 private Node nextNode; public Node(int record) { this.record
二叉排序树的非递归插入,非递归查询,寻找最大值,寻找最小值package whut.tree; //二叉排序树的非递归插入,非递归查询,寻找最大值,寻找最小值 class Node { private int data; private Node left; private Node right; public Node(int data) { th
Hive是一种构建在Hadoop上的数据仓库,Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业,是MapReduce更高层次的抽象,不用编写具体的MapReduce方法。Hive将数据组织为表,这就使得HDFS上的数据有了结构,元数据即表的模式,都存储在名为metastore的数据库中。 &nbs
Pig是一种数据流编程语言,由一系列操作和变换构成,每一个操作或者变换都对输入进行处理,然后产生输出结果,整体操作表示一个数据流。Pig的执行环境将数据流翻译为可执行的内部表示,在Pig内部,这些变换操作被转换为一系列的MapReduce作业。 Pig自身有许多个方法,有时候需要我们自己定制特定的处
问题描述:一个trade table表product1"trade1product2"trade2product3"trade3一个pay table表product1"pay1product2"pay2product2"pay3product1"pay4product3"pay5product3"pay6建
问题描述:输入文件格式如下:name1 2name3 4name1 6name1 1name3 3name1 0要求输出的文件格式如下:name1 0,1,2,6name3 3,4要求是按照第
文件读取流程 1) 客户端首先要调用FileSystem对象的静态方法open()方法来打开一个希望读取文件的路径,在HDFS中文件的对象为Path对象(与Java中的File相对应)。 2) FileSystem对象就是一个DistributedFileSystem对象,通过利用RPC来调用NameNode节点,(NameNod
Hadoop0.2之前版本和之后版本在Job中有很大的改进,本次采用的版本是Hadoop1.1.2版本。 现在作为作业驱动器,可以直接继承Configured以及实现Tool,这种方式可以很便捷的获取启动时候命令行中输入的作业配置参数,常规的Job启动如下:public class SortByHash extend
第一种:原生态运行jar包1,利用eclipse编写Map-Reduce方法,一般引入hadoop-core-1.1.2.jar。注意这里eclipse里没有安装hadoop的插件,只是引入其匝包,该eclipse可以安装在windows或者linux中,如果是在windows中安装的,且在其虚拟机安装的linux,可以通过共享文件夹来实现传递。2,编写要测试的数据,如命名为tempdata3,利
为了每次执行hadoop的时候,不必须要前者加上hadoop的安装的绝对路径,要做的事情就是将其安装路径加入到PATH中,这样就可以直接执行hadoop命令。如下: vim /etc/profile中加入一句 export HADOOP_INSTALL=/usr/local/hadoop1
1 ubuntu中默认root没有启动,具体root的启动过程如下: 设置root密码 sudo passwd root vi /etc/lightdm/lightdm.conf 增加下面一句话: greeter-show-manual-login=true 修改后为: [SeatDefaults] greeter-s
Spring一个重要的特性就是提供了AOP,使得我们可以在原有的基础上增加我们自己的系统业务逻辑。使得我们系统业务逻辑与应用业务逻辑相分离,耦合性降低,并且大大的提高了开发的效率。Spring的AOP利用的就是动态代理方式,在Spring的AOP中,有两种实现方式。第一种,就是利用JDK的Proxy,另外一种就是采用CGLIB来实现的。 基本概念:Advice: 通知,制
前言 本次对于Spring的IOC容器的创建过程是基于其源码进行研究分析的,主要涉及BeanFactory的创建过程,Bean的解析与注册过程,Bean实例化的过程以及诸如ClassPathXmlApplicationContext的IOC构建过程。IOC容器创建过程 在Spring中,三大核心组件Context、Bean以及Core中,Cont
前言 本文结合Spring3.0的源码进行简单的介绍,这里的核心组件不是我们常见所谓的IOC和AOP,而是以Spring3.0发布的开发包为切入点,当然Spring3.0以后的各个版本基本上差不多,思想不变,添加的主要就是对于各种特性的增强。一 组件概述 Spring3.0以后的版本和以前的版本开发包组织方式不同了,官方也不将其依赖包一并包含在其
整合环境:MyEclipse,Tomcat7.0,Hibernate3.6,Struts2.2.1,Spring3.0一 所需匝包: 在MyEclipse中,可以点击window—preferences—user libraries—new自定义用户的个人匝包,将各个匝包引入进来。 Struts2.2.1下载解压后,将struts2.2.1/apps/str
MyEclipse中配置Struts2.2.1版本基本步骤:1,首先就是要建立一个web project项目2,设置jdk和servers路径,如果jdk和servers已经配置ok,跳过这一步骤。在菜单中的window选项中配置jdk和servers对于jdk,点击java-.>找到jre那个东西,然后输入你的jdk安装目录对于servers,点击myEclipse中的servers中的t
原文出处:http://developer.51cto.com/art/201201/311739.htm 一篇非常棒的关于JVM性能调优的文章,转载用于自己经常查阅以下配置主要针对分代垃圾回收算法而言。堆大小设置年轻代的设置很关键JVM中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一
Java语言是一种编译后再经过解释器执行的过程, 解释器主要就是如何处理解释Class文件的二进制字节流。JVM主要包含三大核心部分:运行时数据区,类加载器和执行引擎。 虚拟机将描述类的数据从Class文件加载到内存,并对数据进行校验、准备、解析和初始化,最终就会形成可以被虚拟机使用的Ja
Java是一种内存动态分配和垃圾回收技术的一种语言,不需要显示的进行对象内存的分配,这一切操作都是由JVM来完成的,由于Java是“一切皆对象”的,所以对于内存分配的优化与速度非常的高效。在Java中一个对象在堆中的分配以及灭亡都是由JVM来完成的。JVM负责来垃圾回收与对象分配。一 垃圾回收 垃圾回收(Garbage Collection,G
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号