大数据技术交流群 :494721467 安装storm-------------------1.准备jdk + zookeeper2.storm安装下载apache-storm-1.0.1.tar.gz + apache-storm-1.0.1.-src-tar.gz3.tar4.移动文件$>mv /soft/..5.配置环境变量[/etc/environment]pathSTOR
zk集群搭建---------------------- 1.myid文件 a.[${zk_home_data}/myid] 1 //1~255 b.[zoo.cfg] tickTime=2000 dataDir=/disk1/zookeeper dataLogDir=/disk2/zookeeper clientPort=2181 initLimit=5 //初始
大数据交流群： 494721467安装maven: 1、介绍：apache项目管理软件，解决项目依赖关系 pom.xml(project object model) 2、下载apache-maven-3.3.9.tar.gz(apache) 3、在linux上tar文件 ：tar -xvzf xxx.tar.gz 4、移动tar开目录到/soft
大数据交流群：494721467Maven搭建本地仓库：1、下载所需软件： Nexus-2 .9.0.warJDK1 1.6apache-tomcat-9.0.0.M1.tar.gz 2、安装tomcat :tar -xzvf tar -xzvf apache-tomcat-9.0.0.M1.tar.后将它移到/soft/的目录下 3、移动nexus.war到${t
大数据交流群QQ:494721467HDFS容错：如何使文件体统能够容忍节点故障，并且不丢失任何的数据也就是HDFS的容错机制1、心跳机制：namenode 和datanode是维护心跳的检测。可能网络故障，导致namenode接收不到datanode的心跳包，namenode就不会将任何新的I/O操作派发给那个Datanode,所以datanode上的数据是无效的。namenode会检测到文件块
搭建完全分布式hbase集群------------------------- 1.配置master主机上的文件 [conf/hbase-site.xml] <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://s1:8020/hbase
2、数据库： OLTP //online transaction process ,在线事务处理3、drop databases if exists mybase //删除数据库4、show tables //显示表5、create database mybase //mysql 创建库6、create table test(id int ,na
配置hive使用mysql数据库------------------------ 1.下载并加压hive.tar.gz 2.配置环境变量 HIVE_HOME=... PATH=..:$HIVE_HOME/bin:$HIVE_HOME/conf $>source /etc/environment 3.创建配置文件 $>cd conf $ cp hive-default.xml.
进入到执行：/soft/hadoop-2.7.1/etc/hadoop_cluster$ gedit hdfs-site.xml[配置部分][hdfs-site.xml]1.配置名称服务:dfs.nameservices名称服务的逻辑名。<property> <name>dfs.nameservices</name>
查找有没有这个软件通过管道查询：sudo apt-cache search ssh | grep ssh安装的话：sudo apt-get install xxxxx安装ssh后要生成一个文件即执行：ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa最后在soft/haoop/etc/hadoop目录下的三个文件中执行core-site.xml、hdfs-site.x
安全模式1、namenode启动时，合并p_w_picpath和edit成新的p_w_picpath,并产生新的edit log 2、整个智能safe模式下，客户端只能读取3、查看nameode是否位于安全模式 hdfs dfsadmin -safemode get //查看安全模式 hdfs dfsadmin -safemode enter &
hadoop ---------------------1、可靠、可伸缩、分布式的计算框架，开源软件四大模块1、common hadoop0-common2、hdfs3、mapreduce4、yarn---------------------完全分布式：1、hdfs NameNode DataNode secondaryNode 启动脚本：start-all.sh(start
hadoop从裸机到完全分布的安装（ctrl + alt是让鼠标出来）1、vmware安装省略2、ubuntu安装省略3、安装好ubuntu后修改root用户的密码。即执行sudo passwd输入新的密码4、建文件夹即mkdir ,修改它的权限的话用chmod 777 或者用chmod rxw也可以(rwx值的是读写和执行权，想改那个权限的话就用chmod oug + 它们)5、touch a.
Avro1、数据序列化工具，由于hadoop的创始人Doug Cutting主持开发2、用于支持大批量数据交换的应用。支持二进制序列化方式，可以便捷，快速地处理大量数据3、动态语言友好。Avor提供的机制使动态语言可以方便地处理Avro4、Thrift接口ChuKwa1、架构在HADOOP之上的数据采集分析框架2、主要进行日志采集和分析3、通过安装在收集节点的“原始的日志数据4、代理”采集最数据发
m ubnutn 1、cd:是进入指定的目录2、ls：是列出目录3、clear是清除代码的意思4、ls -al 是显示列表信息a5、pwd:是显示当前目录在哪里6、～(飘）：是指当前目录的子目录下7、cd~很快地进入用户的目录下8、whoami指的是当前的用户是谁，之前按装设置的是ubuntn所以用户名是ubuntn9
停止线程-----------1、定义循环结束标记 .因为线程运行代码一般都是循环，只要控制了循环即可 2、使用interrupt(中断)方法.该方法是结束线程的冻结状态，使线程回到运行状态中来注：stop方法已经过时不再使用创建线程方式--------------------1、Thread2、Runnable{public void run();}例子：clas
Map集合-------------1、Map与Collection不同2、Map集合存储于取出元素的方式3、Map集合的特点4、Map集合中常用类Map与Collection1、Map与Collection在集合框架中属并列存在2、Map存储的是键值对3、Map存储元素使用put方法，Colletion使用add方法4、Map集合没有直接取出元素的方法，而是先转成Set集合，在通过迭代获取元素5
*1、存储对象考虑：数组和集合 *2、数组存储对象的特点：Student[] sut = new Student[20]; stu[0] = new Student().... *数组弊端：一旦创建，其长度不可变，真实的数组存放的对象个数是不可知的 *3、集合 * Collection接口 *
集合类的应用：集合类是一些特殊的类，专门用来存放其他类对象的“容器”。主要是完成一些数据库和数据结构的功能。Collection：1、java集合中的Collection的接口有两个子接口--list和set，我们一般要用到的操作有：boolean contaion(objecto);//判断元素，有没有我要的元素添加元素：add/addAll清空集合：clear集合转换成数组：toArray删除
dos:-----------1、dir 列出目录2、dir /? 帮助3、dir /w 宽屏显示4、dir /P 分页显示5、d:是盘加：号是切换盘符6、Tab补齐键 ，比如要进入某个文件cd+输入文件名前面的字母按住Tab键就可以查找文件，如果想找的文件过了就按住
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
