macOS 系统编译 Hadoop 3.2.1，要安装一些特殊的软件，还要需改源码的一些编译配置文件。
踩了很多坑，不过最终编译成功了。贴出来给有需要的朋友们提供参考✌️
原创
2021-07-08 09:11:16
1029阅读
一、大数据的四大特征： a.海量的数据规模（volume） b.快速的数据流转和动态的数据体系（velocity） c.多样的数据类型（variety） d.巨大的数据价值（value） 二.Spark 和 Hadoop的不同 Spark是给予map reduce 算法实现的分布式计算，拥有Hadoop MapReduce所具有的有点，但不同与MaoRedu
转载
2023-09-22 13:02:02
92阅读
在云上运行Hadoop，很多人担心性能。因为一提到虚拟化就会有人想到有成本，往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。如果单独把10台物理机虚拟化跑Hadoop，这肯定是有部分性能的开销的。但是如果在公共云上，情况就不是这样了。因为公共云虚拟化的开销最终是由平台方来承担的，其一是平台方采购机器有规模优势，其二平台方可以在保证虚拟机性能的情况超卖部分资源。平台卖给用户8core32
转载
2024-01-12 14:57:43
66阅读
在mac上安装了eclipse之后，配置hadoop其实跟在linux上配置差不多，只是mac上得eclipse和界面和linux上得有点不同。一：安装eclipseeclipse得安装比较简单，就不说了。二：配置eclipse链接hadoop1.在eclipse下安装开发hadoop程序的插件ha...
原创
2021-09-04 10:44:30
305阅读
snappy也是一个开源的高效压缩和解压框架。具体介绍，这里不再赘述，可以去官网查询。
安装所需软件：gcc、g++、snappy包、hadoop-snappy源码包、maven.
gcc在ubuntu上已经安装，如果未安装，包括g++,maven,可以通过以下命令安装
sudo apt-get install gcc&nbs
原创
2013-01-08 14:49:43
4503阅读
ive分区和mysql分区的区别 * mysql分
转载
2019-11-01 10:45:00
146阅读
2评论
# 在Windows上安装Hadoop的指南
## 引言
Hadoop是一个开源的大数据处理框架，能够存储和处理海量数据。在大数据时代，Hadoop已经成为了数据科学家和工程师们不可或缺的工具之一。虽然Hadoop主要在Linux环境下运行，但我们也可以在Windows上进行安装和使用。本文将详细介绍在Windows上安装Hadoop的步骤，并提供相应的代码示例。
## 环境准备
在安装H
原创
2024-10-04 05:30:54
18阅读
# Hadoop连接不上问题的解决方法
Hadoop是一个流行的开源框架，用于分布式存储和处理大规模数据集。然而，有时用户可能会遇到连接不上Hadoop集群的问题，这可能由多种原因引起，包括配置错误、网络问题或服务未启动等。本篇文章将探讨一些常见的Hadoop连接问题及其解决方案，并给出相应的代码示例。
## 一、常见连接问题
### 1. 服务未启动
在连接Hadoop之前，确保所有相关
原创
2024-10-21 05:15:41
363阅读
CephFS文件系统 Ceph FileSystem简称CephFS,是一个支持POSIX接口的文件系统存储类型。目前发展比较滞后，主要原因CephFS技术不够成熟，另外受云计算对RBD和RADOSGW需求比CephFS大，社区将发展重点放到RBD和RADOSGW之上。因此目前CephFS还是比较适合实验或测试场景；随着应用需求增多CephFS将逐渐被重视。CephFS架构CephFS
转载
2024-01-10 19:39:51
26阅读
Hadoop运行环境搭建重来3遍是正常的，这篇针对的是怎么也无法修改为目标ip地址的情况。1.安装VMware，文章末尾有链接，没什么需要注意的，也可以跟着视频安装2.CentOS ，文章末尾有链接，从这里开始跟着视频，涉及到输入密码的统一设置为一个密码000000。3.VMware的配置1.打开虚拟网络编辑器： 2.按照绿色标记的顺序，点击。 3.更改子网，打开NAT设置 4.更改网
转载
2023-07-24 10:44:21
78阅读
引言在云上云行Hadoop，很多人担心性能。因为一提到虚拟化就会有人想到有成本，往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。如果单独把10台物理机虚拟化跑Hadoop，这肯定是有部分性能的开销的。但是如果在公共云上，情况就不是这样了。因为公共云虚拟化的开销最终是由平台方来承担的，其一是平台方采购机器有规模优势，其二平台方可以在保证虚拟机性能的情况超卖部分资源。 平台卖给用户8cor
转载
2024-01-12 14:58:50
41阅读
pig的介绍，网上搜索，或者去官网查询。
准备：
pig：http://pig.apache.org/releases.html#Download
我这里用的pig0.10需要 hadoop 0.20.X 及以上版本。你可以在下载的页面看到具体的版本所需要的hadoop版本。
安装：
解
原创
2013-01-10 15:49:26
720阅读
大数据交流群： 494721467安装maven: 1、介绍：apache项目管理软件，解决项目依赖关系 pom.xml(project object model) 2、下载apache-maven-3.3.9.tar.gz(apache) 3、在linux上tar文件 ：tar -xvzf xxx.tar.gz 4、移动tar开目录到/soft  
转载
精选
2016-08-12 18:11:11
940阅读
环境hadoop2.7.1+ubuntu 14.04hive 2.0.1集群环境namenode节点：master (hive服务端)datanode 节点：slave1...
转载
2021-06-10 21:07:10
283阅读
## 在vSphere上安装Hadoop
### 1. 安装虚拟机
首先，你需要在vSphere上创建一台虚拟机来安装Hadoop。你可以按照以下步骤进行操作：
步骤 | 操作
--- | ---
1 | 打开vSphere客户端，登录到vSphere管理界面。
2 | 在vSphere管理界面中，选择主机和集群，右键单击，并选择“新建虚拟机”。
3 | 在创建虚拟机的向导中，按照提示设置虚拟
原创
2023-07-29 12:31:23
52阅读
命令：virtualenv venv # 创建
source venv/bin/activate # 激活
deactivate # 退出用pip安装virtualenv：pip install virtualenv然后，假定我们要开发一个新的项目，需要一套独立的Python运行环境，可以这么做：第一步，创建目录：m
环境hadoop2.7.1+ubuntu 14.04hive 2.0.1集群环境namenode节点：master (hive服务端)datanode 节点：slave1...
转载
2021-06-10 19:45:53
180阅读
# Hadoop上安装MySQL
## 引言
在Hadoop集群中，我们经常需要进行数据分析和处理，而MySQL作为一种常用的关系型数据库管理系统，可以帮助我们存储和管理数据。本文将指导您在Hadoop集群上安装和配置MySQL。
## 准备工作
在开始安装之前，确保以下准备工作已完成：
1. 已安装并配置好Hadoop集群。
2. 所有节点之间的网络连接正常。
## 安装MySQL
原创
2023-08-13 15:27:24
304阅读
HadoopHadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX
转载
2024-07-18 13:44:47
19阅读
我在Mac电脑上编译Android的内核源代码遇到了不少问题，下面对遇到的问题进行一个简单的总结，希望对大家有所帮助。 1、Android编译内核的源代码和编译Rom的源代码是分开的，因此如果要编译内核的话，需要单独下载。用git从谷歌的网站上克隆：git clone http://android.googlesource.com/kernel/goldfish.git注意这里不要用https，我
