目录最简单的Hadoop架构... 1伪分布式搭建... 1JDK的配置... 1Hadoop下载与安装... 4Windows系统的特殊点1. 10Windows系统的特殊点2. 11Windows的注意事项主要就是在 10 11 页，其它步骤没有太大区别，个人建议在Linux搭建，避免更多问题发生，Hadoop的设计压根就没有考虑过Windows哦！如果配置文件写好就可以直接进入到
转载
2024-10-08 13:10:17
47阅读
目录一 Homebrew安装二 SSH免密登录配置三 Hadoop安装四 伪分布式配置a.hadoop-env.sh配置b.core-site.xml配置c.hdfs-site.xml配置d.mapred-site.xml配置e.yarn-site.xml配置五 启动运行六 测试WordCount一 Homebrew安装Homebrew是一个包管理器，是Mac上的软件安装管理工具，类似于Linux
转载
2024-09-09 10:03:25
122阅读
目录1 安装环境1.1 服务器信息1.2 节点配置信息2 安装前准备2.1 安装DM8并初始化2.2 准备初始化数据2.3 主备节点服务器2.4 监视器服务器2.5 功能测试1 安装环境操作系统：CentOS Linux release 7.9.2009 x64硬盘空间：20G软件版本：DM8企业版1.1 服务器信息IP地址节点类型操作系统备注192.1
首先说明，本文记录的是博主搭建的3节点的完全分布式hadoop集群的过程，环境是centos 7，1个nameNode，2个dataNode，如下：1、首先，创建好3个Centos7的虚拟机2、java环境的搭建，可以参考我的博客《centos7 安装jdk 1.8》3、关闭或者禁用防火墙， systemctl stop firewalld.service 关闭防火墙；sy
环境介绍主库：主机名rac01rac02实体IP10.206.132.23210.206.132.233私有IP192.168.56.12192.168.56.13虚拟IP10.206.132.23710.206.132.238SCAN IP10.206.132.239实例名racdb1racdb2数据库名racdb数据文件目录DGDATA01,DGDATA02(ASM磁盘） 备库：主机
转载
2024-03-11 20:40:00
58阅读
软件简介Apache ORC 文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低Hadoop数据存储空间和加速Hive查询速度。ORC(OptimizedRC File)存储源自于RC(RecordColumnarFile)这种存储格式，RC是一种列式存储引擎，对schema演化(修改schema需要重新生成数据)支持较差，而ORC
转载
2024-04-17 05:39:18
16阅读
目录1.前言2.HDFS2.1.指令操作2.2.JAVA API3.HBase3.1.指令操作3.2.JAVA API1.前言本文是作者大数据专栏系列的其中一篇，前文中已经详细聊过分布式文件系统HDFS和分布式数据库HBase了，本文将会是它们的实操讲解。2.HDFS2.1.指令操作创建目录：hdfs dfs -mkdir /user/mydir递归创建目录：hdfs dfs -mkdir -p
# Hadoop单机模式 hdfs实现指南
## 1. 整体流程
为了实现Hadoop单机模式hdfs，我们需要经历以下步骤：
| 步骤 | 描述 |
|---------------|-------------------------|
| 1. 下载Hadoop | 从官方网站下载Hadoop压缩包 |
|
原创
2024-04-18 03:27:22
46阅读
# HDFS Docker单机部署教程
## 1. 流程图
```mermaid
sequenceDiagram
participant 小白
participant 开发者
小白->>开发者: 请求帮助
开发者->>小白: 提供HDFS Docker单机部署教程
```
## 2. 教程步骤
| 步骤 | 描述 |
| --- | --
原创
2023-09-30 09:32:49
553阅读
最近想看一下hadoop ，万事开头难所以先从环境搭建入手但是网上的帖子都是针对hadoop 0.x版本的，对于我这样的小白起了一些误导作用折腾了半天终于看到小象，遂作此记录。准备环境：linux 系统（本次使用centos 6.0）Java开发环境（采用jdk6）opensshhadoop 2.0.3大家可以从官方下载，我提供网盘下载jdk、hadoop：http://pan.baidu.com
分布式集群:
Hadoop
收集：flume kafka
存储：HDFS
计算：MapReduce
分布式集群存储（HDFS）：
配置jdk环境变量： vim/etc/proflile
JAVA_HOME=/usr/jdk1.8.0
PATH=$JAVA_HOME/bin:$PATH($:连接到之前的PATH)
e
转载
2024-04-30 17:10:43
48阅读
一、HDFS实验：部署HDFS指导2.1 实验目的1． 理解HDFS存在的原因；2． 理解HDFS体系架构；3． 理解master/slave架构；4． 理解为何配置文件里只需指定主服务、无需指定从服务；5． 理解为何需要客户端节点；6． 学会逐一启动HDFS和统一启动HDFS；7． 学会在HDFS中上传文件。2.2 实验要求要求实验结束时，已构建出以下HDFS集群：1． master
转载
2024-03-05 08:17:09
82阅读
大数据环境部署一（hdfs集群搭建）
大数据分析使用的数据源是shp文件，目前存储方案是存储在HDFS中。Hdfs文件服务器部署起来比较简单，简述一下。
hdfs版本选择比较随意，3.x都可以。
hdfs部署正常情况下10分钟就够了，需要注意的就是免密登录哪里，不要随便chomd权限，不然会很麻烦的。
如果是新机器，几乎不需要改权限就可以正常部署。1：安装软件和前提环境服务器：c
转载
2023-07-13 16:57:12
188阅读
最近在学Android手机应用程序开发。和大家分享一下我的经验。 首先是 Windows 下 Android 开发环境的搭建：需要准备的软件包有：1、 jdk-6u24-windows-i586.exe 下载网站：https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/ViewFi
这篇简要说下清华开源项目 ChatGLM 本地部署的详细教程。清华开源项目 ChatGLM-6B 已发布开源版本，这一项目可以直接部署在本地计算机上做测试，无需联网即可体验与 AI 聊天的乐趣。项目地址：GitHub - THUDM/ChatGLM-6B: ChatGLM-6B：开源双语对话语言模型 | An Open Bilingual Dialogue Lang
转载
2023-08-26 22:09:39
389阅读
kafka与zookeeper单机集群搭建一、Zookeeper环境搭建Zookeeper是一种在分布式系统中被广泛用来作为分布式状态管理、分布式协调管理、 分布式配置管理、和分布式锁服务的集群。kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kafka系统会捕获这些事件， 进行新一轮的负载均衡，客户端也会捕获这些事件来进行新一轮的处理，所以启动Kafka之前需要安装并启
转载
2024-05-11 23:56:08
472阅读
文章目录Hadoop简介:大数据4V特征：Hadoop三大核心：Hadoop4大特征：Hadoop与普通数据库差别：HDFS环境搭建： Hadoop简介:大数据4V特征：Volume： 90%的数据是过去两年产生----大数据量Velocity： 数据增长速度快，时效性高----速度快Variety： 数据种类和来源多样化：结构化数据，半结构化数据，非结构化数据----多样化Value： 需挖掘
转载
2024-04-15 11:43:01
42阅读
Hadoop的安装有三种运行模式：单机模式（Local (Standalone) Mode）：Hadoop的默认模式，0配置。Hadoop运行在一个Java进程中，使用本地文件系统，不使用HDFS，一般用于开发调试MapReduce程序的应用逻辑。伪分布式模式（Pseudo-Distributed Mode）：需简单配置，相当于只有一个节点的集群，Hadoop的所有守护进程运行在同一台机器上。该模
转载
2023-09-11 17:09:42
75阅读
分布式的演变前言分布式起源单兵模式：单机模式游击队模式：数据并行或数据分布式集团军模式：任务并行或任务分布式分布式是什么？总结 前言从理解分布式的发展驱动因素开始，探寻它的本质，了解分布式的起源，进而深入理解什么是分布式。分布式起源单兵模式：单机模式1946 年情人节发布的 ENIAC 是世界上的第一台通用计算机，它占地 170 平米重达 30 吨，每秒可进行 5000 次加法或者 400 次乘
转载
2024-10-09 15:54:51
14阅读
系统架构Flink是一个用于状态化并行流处理的分布式系统。它的搭建涉及多个进程，这些进程通常会分布在多台机器上。分布式系统需要应对的常见挑战包括分配和管理集群计算资源，进程协调，持久且高可用的数据存储及故障恢复等。Flink并没有依靠自身实现所有上述功能，而是在已有集群基础设施和服务之上专注于它的核心功能–分布式数据流处理。Flink和很多集群管理器（如Apache Mesos、YARN及Kube
转载
2023-11-19 13:18:48
65阅读
