一、前置条件Hadoop的运行依赖JDK，需要预先安装，安装步骤见：Linux下JDK的安装二、配置免密登录Hadoop组件之间需要基于SSH进行通讯。2.1配置映射配置ip地址和主机名映射：vim/etc/hosts#文件末尾增加192.168.43.202hadoop0012.2生成公私钥执行下面命令行生成公匙和私匙：ssh-keygen-trsa3.3授权进入~/.ssh目录下，查看生成的公
原创
2019-09-16 08:54:49
403阅读
准备工作：
在192.168.129.35上搭建一个Hadoop环境，早上已经搞定，所以不说了
可以参照附件的邮件 <technical>canton hadoop environment in 192.168.129.35
Step 1：
下载并解压Hadoop 到本地机器（因为Eclipse需要这个Hadoop里面的部分Jar包充当其运行时）
原创
2012-04-21 11:12:02
732阅读
【安装JDK】首先，从http://www.oracle.com/technetwork/java/javase/downloads/index.html中下载jdk,我的版本是jdk1.6.0_24，我下载的是bin文件，我将下载的jdk1.6.0_24.bin文件置于/usr/lib/jvm/openjdk中，然后，在shell中执行。$ sudo chmod u
转载
精选
2014-01-12 12:25:21
437阅读
hadoop2.*以后就没有eclipse插件工具，不能在eclipse上调试代码，需要将写好的java代码MapReduce打包成jar然后在Linux上运行，非常不方便代码调试，以下介绍如何搭建开发环境。
1.软件准备jdk1.8（已经安装）eclipse-java-mars-1-linux-gtk-x86_64.tar.gzhadoop-eclipse-plugin-2.6.0.jar2.软
之前稍微了解了一下大数据方面的知识，在搭建环境的时候我很惆怅的，因为那时候没有弄好，刚好这几天有时间，于是把以前没有弄好的又来配置了一下，没想到居然成功了，这个过程走了很多的弯路，查阅了网上大量资料，终于直接也来整理一下了。
原创
2022-01-06 18:02:27
303阅读
这里以统计单词为例1 首先建立mapper.pymkdir /usr/local/hadoop-pythoncd /usr/local/hadoop-pythonvim mapper.pymapper.py#!/usr/bin/env pythonimport sys# input comes from STDIN (standard input) 输入来自STDIN（标准输入）for line
1、创建maven项目如果不懂配置maven请点击：传送门2、在pom.xml写入架包配置文件<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-common --> <dependency> <
转自http://blog.csdn.net/youyoufengxinzi/article/details/1516573解释patch文件 我们可以使用diff命令加参数-ruN来比较两个文件并生成一个补丁文件。这个补丁文件会列出这两个不同版本文件的差异来。我们将通过一个特定例子来解释这个由diff命令生成的补丁文件（patch file）。 假定：我们对检查linux-2.2.13和linu
转载
精选
2016-03-23 15:46:51
361阅读
一.开门见山论”补丁“1.什么是补丁？为什么要打补丁？打了补丁有什么作用
1. 201807 的补丁出现了问题 造成 .net程序启动报错 补丁信息地址 20180801 看到 1803 1709 1703 都没有解决 1607 已经有解决方案了 可能是拜 win server 2016 的福气. 解决方案为: 补丁信息: 最新版本的 估计 后续 也会慢慢发布. 继续跟踪
原创
2021-08-24 09:57:58
254阅读
笔者鼓弄了两个星期，终于把所有有关hadoop的环境配置好了，一是虚拟机上的完全分布式集群，但是为了平时写代码的方便，则在windows上也配置了hadoop的伪分布式集群，同时在IDEA上就可以编写代码，同时在windows环境下进行运行。（如果不配置windows下的伪分布式集群，则在IDEA上编写的代码无法在windows平台下运行）。笔者在网络上找了很多有关windows下使用idea搭建
转载
2021-04-29 14:11:29
1353阅读
2评论
出补丁什么是补丁？如果我们的衣服上破了一个洞，可以拿块布给补上，这块布就是“补丁”。程序也是一样，如果系统有了漏洞或者想要完善某些功能，都需要打补丁。如何出补丁选中你需要打补丁的文件（一般你修改了哪些文件，就需要对哪些文件出补丁），右键选择“导出”，选中“UAPx6 Service Pack”，点击“下一步”。填写补丁基本信息，其中，“补丁名称”、“补丁提供者”、“提供部门”为必填项，其他选填。这
转载
2021-01-27 22:00:21
762阅读
2评论
@ 1.输入数据接口：InputFormat （1）默认使用的实现类是：TextInputFormat （2）TextInputFormat的功能逻辑是：一次读一行文本，然后将该行的起始偏移量作为key，行内容作为value返回。 （3）KeyValueTextInputFormat每一行均为一条记
原创
2021-07-20 09:18:15
122阅读
一、安装Eclipse 下载Eclipse，解压安装，例如安装到/usr/local，即/usr/local/eclipse 4.3.1版本下载地址：://pan.baidu.com/s/1eQk
转载
2017-11-28 11:50:00
110阅读
Hadoop运行环境搭建来源于一个朋友的博客，这是在Ubuntu上搭建的，仅作参考。1.虚拟机环境准备主机名IP内存系统hadoop101192.168.10.112GUbuntu20.04.3LTShadoop102192.168.10.122GUbuntu20.04.3LTShadoop103192.168.10.132GUbuntu20.04.3LTS以下步骤三台服务器均需要操作1.1添加主
原创
2022-05-13 20:59:35
481阅读
一，准备
Java 1.6
Eclipse Europa 3.3.2
hadoop-0.19.2
Java一定要1.6，Eclipse好像不能用3.4以上，hadoop用0.19.2，原文用0.19.1，现在没的下了。0.20.0不能用，我试过了，没法启动Job Tracker，不知道原因，可能是bug也不定。
二，安装Cygwin
先去下载一个安装文件 ，完后运行，这只是一个引导
转载
精选
2011-06-02 09:35:54
888阅读
猴子补丁 在运行时替换方法、属性等，动态属性替换 在不修改第三方代码的情况下增加原来不支持的功能 在运行时为内存中的对象增加patch而不是在磁盘的源代码中增加 主要用途在于源码不宜直接修改，而添加补充功能 例子：python自带的json包不支持自定义对象转json串，在python中用json. ...
转载
2021-09-09 07:57:00
153阅读
2评论
