序列化我们先来看下hadoop官网上给的MapReduce统计词频的示例：import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.had
Mac配置Hadoop最详细过程原文作者: 曲高终和寡 一.准备工作:1. JDK1.7版本及以上(貌似Hadoop只支持1.6以上的版本,不确定,保险起见用1.7,我自己用的是1.8)2. 2.7.3版本的Hadoop https://archive.apache.org/dist/hadoop/common/hadoop-2.
转载
2023-09-23 16:26:17
100阅读
一。MAC OS下的JDK安装及其路径1、首先安装jdk,直接百度或者Google搜索就有MAC版本的jdk,本实验环境是jdk1.8.0_66.jdk，Hadoop的安装也必须在jdk 1.6版本以上。 2、MAC中自带有安装的jdk,查看其默认路径如图： /Java>/System/Library/Frameworks/JavaVM.framework/Versions/Current
最近在用mac笔记本搭建hadoop+hive+spark的测试环境，中间遇到不少问题，所以，记录一下，希望以
原创
2022-04-29 22:48:01
1222阅读
提示：这里有Exit code: 127 Stack trace: ExitCodeException exitCode=127: 错误的解决的方法，在文章最后面一、首先要配
原创
2022-09-09 17:23:07
171阅读
nginx 是一个轻量级的高性能HTTP 以及反向代理服务器，今天在MAC 上安装成功。我是通过brewhome 来安装的，很简单。brew install nginx 一路顺畅。。。下面是安装信息。hematoMacBook-Pro:~ hechangmin$ brew search nginxnginxhematoMacBook-Pro:~ hechan
原创
2022-09-09 09:52:00
114阅读
配置ssh免密登录mac下开启远程登录系统偏好设置 -> 共享 -> 远程登录授权免密登录# 生成秘钥（如果没有）ssh-keygen -t rsa -P ''# 授权免密登录cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys# 免密登录ssh lcoalhost安装hadoopbrew instal...
原创
2022-03-01 10:49:02
2338阅读
下载Hadoop（我下载的是2.8.0版本） 点击此处下载 下载后，使用 解压tar包，解压完成后有这样一个文件出现 修改Hadoop的配置文件 需要修改的配置文件在Hadoop安装路径下的 etc/hadoop中 需要修改的文件包括 hadoop-env.sh core-site.xml hdfs
原创
2022-06-10 19:57:09
230阅读
配置ssh免密登录mac下开启远程登录系统偏好设置 -> 共享 -> 远程登录授权免密登录# 生成秘钥（如果没有）ssh-keygen -t rsa -P ''# 授权免密登录cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys# 免密登录ssh lcoalhost安装hadoopbrew instal...
原创
2021-07-12 14:08:41
1854阅读
Mac下flutter环境搭建
原创
2021-12-28 13:53:15
393阅读
前言因为平时工作和日常接触到的大都是的中型项目，所以少有个性化推荐等涉及大数据的功能。但是后期应该也会在自己项目中添加信息推荐模块，所以就开始关注spark，hadoop，Thrift等工具，以下就以hadoop先开始，包括环境搭建和配置过程中踩坑过程。关于hadoop的环境搭建，网上也有各种各样的教程。那来直接按着他们的方法来，前期当前问题不大，但是呢，可能在安装过程中由于每个工具的版本不一致。
原创
2024-08-13 13:06:37
73阅读
go语言运行包安装下载地址：https://code.google.com/p/go/downloads/list我下载的是：go1.0.3 Mac OS X (x86 64-bit) Signed PKG installer go1.0.3.darwin-amd64-signed.pkg 下载完成后直接安装。运行包自动安装在 /usr/local/go 中，这样在命令终端就可以运行g
原创
2023-07-14 21:20:03
148阅读
官方说明Sentry是一种用于在Hadoop集群中控制和管理访问权限的工具。因此，CDH的Sentry指的是Cloudera Distribution for Hadoop中集成的Sentry组件，用于管理Hadoop集群中的访问控制和权限管理。作用Sentry是一个用于管理Hadoop集群中的访问权限的工具，其使用入门流程步骤如下：安装Sentry：安装Sentry并将其配置为Hadoop集群的
转载
2024-07-10 07:41:40
42阅读
下载lua源码包，进入到根目录下1、执行make macosx2、然后再sudo make install即可
原创
2014-05-01 23:17:15
1166阅读
Mac OS X 内置了Apache 和 PHP，这样使用起来非常方便。本文以Mac OS X 10.6.3为例。主要内容包括：启动Apache运行PHP安装MySQL使用phpMyAdmin配置PHP的MCrypt扩展库设置虚拟主机启动Apache 有两种方法：打开“系统设置偏好（System P
转载
2018-01-16 10:28:00
245阅读
2评论
Mac下搭建Qt开发环境 转 https://blog..net/quanhaoH/article/details/90403170分别下载并安装Xcode和 Command Line Tools。 下载Qt并默认安装分别下载并安装Xcode和 Command Line Tools。Xcod
转载
2020-04-25 16:56:00
1401阅读
2评论
mac配置java开发环境： jdk1.7 +sdk1.7+maven +tomcat1、先安装jdk ，才能安装sdk 。2 mac中jdk1.7的默认位置：/Library/Java/JavaVirtualMachines/jdk1.7.0_40.jdk/Contents/Home配置JAVA_...
转载
2014-12-26 16:29:00
113阅读
2评论
1、下载docker并安装 Docker Hub截至发文时，本机安装版本信息：2、安装 Kubernetes3、启动docker 和 Kubernetes这里也是出现问题最多的地方，网上有多篇文档，但大部分不可用或已失效。尤其是挂代理的方案。采用github的一个方案，验证可用。git clone https://github.com/AliyunContainerService
原创
2022-03-18 13:40:35
696阅读
一.环境准备1.1.机器规划 主机名 别名 IP 角色9321a27a2b91 hadoop1172.17.0.10NN1 ZK RM7c3a3c9cd595 hadoop2172.17.0.9NN2 ZK RM JOBHISf89eaf2a2548 hadoop3172.17.0.8DN ZK ND28620
[新技术新方向]Windows下tml
原创
2023-07-21 19:22:21
58阅读
