51CTO博客开发
mapper类的代码：实现Mapper类的方法import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.M
person类的代码：import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.BooleanWritable;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io
import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.DataInputStream;import java.io.DataOutputStream;import java.io.IOException;import org.apache.hadoop.io.IntWritab
import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.DataInputStream;import java.io.DataOutputStream;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop
hadoop配置机架感知 接着上一篇来说。上篇说了hadoop网络拓扑的构成及其相应的网络位置转换方式，本篇主要讲通过两种方式来配置机架感知。一种是通过配置一个脚本来进行映射；另一种是通过实现DNSToSwitchMapping接口的resolve()方法来完成网络位置的映射。 hadoop自身是没有机架感知能力的，必须通过人为的设定来达到这个目的。在FSNamesystem类中的resolv
import java.io.FileInputStream;import java.io.FileOutputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.io.compress.CompressionOutputStr
1.HA配置(1).high availability,高可用 持续服务的能力 多台主机之间进行集群配置(2).failover,容灾(3).namenode , 2nn secondary namenode解决的可靠性问题(4).single point
import java.io.ByteArrayOutputStream;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.conf.Configuration;import or
import java.io.ByteArrayOutputStream;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FS
import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.ByteArrayOutputStream;import java.io.FileInputStream;import java.io.InputStream;import java.net.URL;import org.apa
import java.io.ByteArrayOutputStream;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.f
import java.io.ByteArrayOutputStream;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils;import org.junit.Test;publ
1.查看fsp_w_picpath镜像文件$hdfs oiv -i xxxImage -o xxx.xml -p XML导出后放到eclipse中用shift+ctrl+f进行格式化后查看2.查看edit_xxx编辑日志文件$hdfs oev -i xxx_edit -o xxx.xml -p XML3.hadoop fs === hdfs dfs4.$hdfs datanode&nb
安装准备工作准备5台服务器，hadoop01部署namenode resourcemanager,hadoop02-hadoop03是datanode，hadoop04部署secondarynamenode 上传hadoop-2.7.3.tar.gz /soft 虚拟机Java安装完毕
1.伪分布式安装准备工作 上传hadoop-2.7.3.tar.gz /soft 虚拟机Java安装完毕 卸载原有的openjdk的版本 # java -version如果看到有openjdk的字样就是说明是系统带的openjdk版
CDH-cdh5.8.3离线安装--Mysql5.7二进制部署1.检查系统是否有安装过的mysql，需要卸载干净#rpm -qa|grep -i mysqlmysql-server-5.1.71-1.el6.x86_64mysql-5.1.71-1.el6.x86_64mysql-devel-5.1.71-1.el6.x86_64qt-mysql-4.6.2-26.el6_4.x86_64mysq
问题：在部署到如下测试hue数据连接状态时，报Error loading MySQLdb module: libmysqlclient_r.so.16: cannot open shared object file: No such file or directory查看scm-server的日志中有错误tail -f /opt/cm-5.8.3/log/cloudera-scm-server/c
1. 上传vib补丁包 2. SSH登陆ESXI，并把ESXI主机进入维护模式 3. 查询当前scsi RAID卡的驱动版本4. 拷贝补丁包至相应目录5. 补丁升级，升级后没有立即生效，需要重新启动6. 重启后，验证生效
写的比较仓促，有疑问可以留言讨论，谢谢。
一、KVM介绍（kvm是kernel virtual module的简写）kvm是红帽公司5.4版本后所推出的最新虚拟化技术产品。它和vpc，virtual box都属于完全虚拟化产品，而Xen是属于半虚拟化产品。虽说kvm是完全虚拟化，但在关键的硬盘和网卡上支持半虚拟化virtio，在很大程度上提高了性能，kvm是轻量级虚拟化的代表，也需要硬件vt技术的支持，另外从操作界面上看，xe
学习目的：了解mysql的三种不同安装方式的区别学习内容： mysql 的安装有三种：分别是源码安装、二进制安装、rpm安装。源码安装的优势：linux操作系统开放源代码，因此在其上面安装的软件大部分也都是开源软件。开源软件基本都提供源码下载和源码安装的方式。源码安装的好处是用户可以自己定制软件的功能，安装需要的模块，不需要的功能可以不用安装，此外，用户还可以自己选择安装的路径，方便管理
定期执行任务的一个脚本 脚本1 SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin HOME=/ #run-parts 10 5 */5 * * echo "">/usr/local/apche2/log/access_log 表示每个月的5号、10号、15号、20号、25号、
Linux系统进程管理 一、进程概念理解 在自身的虚拟地址空间运行的一个独立的程序。 可以理解一套程序可以是完成一个项目，要完成这个项目需要各个子项目来完成，各个子项目中是相符相依的，有一定的逻辑先后顺序，子项目即进程也是干一件事，进程有个PID号，可根据这个号查出在干什么事（ps -ef|grep pid），或基于干的事来查PID号；也可用ps auxf来查看进程
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
