Mac配置Hadoop最详细过程原文作者: 曲高终和寡 一.准备工作:1. JDK1.7版本及以上(貌似Hadoop只支持1.6以上的版本,不确定,保险起见用1.7,我自己用的是1.8)2. 2.7.3版本的Hadoop https://archive.apache.org/dist/hadoop/common/hadoop-2.
转载
2023-09-23 16:26:17
100阅读
序列化我们先来看下hadoop官网上给的MapReduce统计词频的示例：import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.had
1.Hadoop序列化机制当程序在向磁盘中写数据和读取数据时会进行序列化和反序列化，磁盘IO的这些步骤无法省略，我们可以从这些地方着手优化。当我们想把内存数据写到文件时，写序列化后再写入，将对象信息转为二进制存储，默认Java的序列化会把整个继承体系下的信息都保存，这就比较大了，会额外消耗性能。反序列化也是一样的，如果文件很大，加载数据进内存也需要耗费很多资源。鉴于上述问题，Hadoop提供了常用
转载
2023-10-08 08:31:52
76阅读
win-amd64.pkg ，安装完成后会在mac os 自动创建目录：/usr/local/go/3.打开终端修改环境配置：$ sudo vim ~/.bash_profile在bash_profile文件里添加export G...
原创
2023-06-13 22:34:32
145阅读
首先声明，以下的所有配置都是基于VMWare Fusion搭建，倘如没下载此软件，请自行下载。第一步 环境准备 此时，我已经默认你有了一台虚拟机了（如果没有，请自行下载）。在启动第一台虚拟机的时候，这个时候，你的虚拟机是无法ping通外网的，因为没和mac网关相关联。首先，查看你的mac网关ip和子网掩码。使用command+空格输入ter显示出终端操作界面，输入如下指令即可（这时，请不要关闭终端
转载
2023-12-23 20:18:54
151阅读
上一篇我们已经准备好三台虚拟机，计划一主两从搭建hadoop集群。没安装的可以参考一下。虚拟机安装传送门：mac搭建hadoop集群之虚拟机安装集群规划主机角色node1NN DN RM NMnode2SNN DN NMnode3DN NM集群配置hadoop3.3安装包下载更改主机名分别将三台虚拟机分别更改为node1、node2、node3。vim /etc/hostname新增host映射v
转载
2024-01-04 23:50:39
73阅读
详细过程：https://jingyan.baidu.com/article/c14654138f35920bfcfc4c28.ht...
原创
2022-07-21 15:51:21
49阅读
## 在Mac上搭建Hadoop的指南
在现代数据处理领域，Apache Hadoop作为一种开源的分布式计算框架，受到广泛应用。对于新手开发者来说，搭建Hadoop环境可能有点复杂，本文将为你详细讲解在Mac上搭建Hadoop的过程，帮助你快速上手。
### 整体流程
在开始之前，了解整个搭建过程的步骤会对你有很大帮助。以下是搭建Hadoop环境的步骤：
| 步骤 | 描述
以此记录自己使用Mac学习hadoop的心酸过程。网上有很多零零散散的教程，遇到的问题各不相同，希望我也能为大家提供一点帮助。一、准备模版虚拟机1.配置静态IP地址vi /etc/sysconfig/network-scripts/ifcfg-ens160进入后配置如下：ONBOOT=yes
BOOTPROTO=static
IPADDR=172.16.6.134
GATEWAY=172.16.6
转载
2023-11-12 15:45:32
290阅读
1、安装python：mac自带python2.7.10，可直接使用 打开终端，输入python，会显示python版本2、安装pip（包管理工具） 下载后解压 打开终端输入cd进入到此目录下执行sudo python setup.py install 回到用户根目录下执行sudo easy_install pip 再次执行sudo pip install –U s
转载
2023-06-26 11:43:09
67阅读
VMware搭建Mac OS环境
原创
2023-03-18 12:06:08
351阅读
首先从App Store下载Xcode，然后安装命令行工具终端下输入：xcode-select --inst
原创
2022-11-19 09:58:34
59阅读
购买存储阵列柜已经有很长一段时间了，以前由于使用TimeMachine直接搜索内网网段时发现不能此设备，后来就一直搁置了，最近由于Mac的风扇出了问题（使用才两年多）刚更换了风扇，感觉到自己的电脑已经人到中年了，怕突然某天遭遇不幸，所以数据备份需要尽快搞起来，防止重要数据丢失，现在已经通过NAS在进行备份了，记录下操作流程，希望能帮助到感兴趣的同学。配置samba服务使TimeMac
转载
2023-11-27 13:02:42
226阅读
1.源码下载OpenCV：https://github.com/opencv/opencvcontrib：https://github.com/opencv/opencv_contrib注意本体和contrib的版本匹配，详见以下： 默认的是“master”分支，我们需要点击“Branch:master”按钮，点击“Tags”标签，在下拉列表中选择想要的版本。本文以4.1.0
一、安装了一台虚拟机，先安装单机版Hadoop，为克隆做准备 首先本地下载Hadoop2.7.3文件，然后打开Mac终端上传文件到服务器上指定位置：scp hadoop2.7.tgz.gz root@192.168.99.120:/usr/bigdata/tools/文件的目录结构：  
转载
2024-01-29 06:06:30
624阅读
Homebrew 是一个很方便的包管理器，主要用来管理 mac 操作系统的软件包，现在也支持 linux 操作系统的包管理以及 Windows 10 Subsystem for Linux。官网是 https://brew.sh 。Homebrew 通过 Tap 方式定义源，官方默认提供了 brew、homebrew-core 、homebrew-cask 、homebrew-bottl
原创
2022-10-21 23:58:16
749阅读
1. 到2.先将4. 配置为:
原创
2012-09-25 11:15:45
1476阅读
1:安装驱动程序这里我的驱动程序是cp210X芯片，下载地址：https://www.silabs.com/products/development-tools/software/usb-to-uart-bridge-vcp-drivers选译你的操作，支持较多的操作系统：1.点Silicon Labs VCP Driver.pkg进行安装。2.uninstaller.sh文件是删除...
原创
2021-11-12 14:19:15
3329阅读
1. 下载、解压1.1 下载地址https://gradle.org下载1往下翻下载2选择版本下载31.2 解压到指定目录2. 配置环境变量2.1 编辑环境文件vi ~/.bash_profile#GRADLEGRADLE_HOME=/Users/qinxy/software/gradle-4.9...
转载
2022-06-01 06:59:36
498阅读
Vagrant是一款用来构建虚拟开发环境的工具，它其实算是一个跨平台的虚拟机管理工具1 安装1.1 安装Vagrant下载好pkg文件后，下一步安装即可1.2 安装VirtualboxVagrant依赖现有的虚拟机软件来管理虚拟机，如Virtualbox, Vmware Fusion, Parallel Desktop等，其中最方便的是VirtualBox同样下载好后直接安...
原创
2021-07-07 17:01:39
1246阅读
