文章目录一.大数据第一章 概念第2章 大数据特点（4V）第3章 大数据部门内组织结构二.Hadoop（入门）第1章 Hadoop概述1.1Hadoop是什么1.2 Hadoop优势（4高）1.3 Hadoop组成（面试重点）1.3.1端口号1.3.2 HDFS架构概述（Hadoop Distributed File System ）1.3.3 YARN架构概述(Yet Another Resou
转载
2023-07-12 12:32:41
67阅读
一、什么是大数据，4V？大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 二、数据 结构+
转载
2024-07-16 12:51:05
48阅读
二、Hadoop集群搭建2.1、Hadoop安装将Hadoop安装包导入hadoop102的/opt/software文件夹下将Hadoop安装包解压至/opt/module文件夹下[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/配置Hadoop的环境变量在/etc/profile.d/my_en
转载
2023-11-11 20:41:10
83阅读
大数据：短时间快速产生大量多种多样有价值的信息。当前谷歌三大论文： GFS -------------------->HDDS分布式文件系统（分布式的存储） MapReduce------------>分布式的处理 BigData------------------>HBase (一种数据库）解决数据量过大的问题：
转载
2023-07-12 12:32:30
75阅读
大数据-hadoop入门与部署大数据-hadoop入门与部署启蒙分治思想单机处理大数据问题集群分布式处理大数据的辩证HadoopHadoop项目/生态hadoop-hdfs存储模型架构设计角色功能元数据持久化安全模式HDFS中的SNN副本放置策略读写流程HDFS写流程HDFS读流程持久化机制用法部署基础设施部署配置初始化运行命令行使用伪分布式: (单一节点)完全分布式: (四节点) 大数据-ha
转载
2023-10-06 21:12:48
40阅读
【简介】(1)：HBase是一个分布式的、面向列的开源数据库，一个结构化数据的[分布式存储系统]”。(2)：HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。(3)：HBase利用Hadoop HDFS作为其文件存储系统；HBase同样利用Hadoop MapReduce
转载
2023-07-24 10:31:37
41阅读
搭建平台：hadoop+hdfs+mapreduce+hive+derby;软件：前端+后端数据库;构思：hadoop+hdfs+mapreduce负责分布式存储和并行计算；hive负责处理数据库访问操作；derby负责存储元数据问题1：不清楚这几个模块如何架设,如何联系起来,甚至不知道各个模块是否配置成功。问题2：不知道这几个模块的文件如何存放，以及如何相互访问。问题3：不知道对这类问题怎么入手
转载
2023-09-20 10:52:28
109阅读
Hadoop学习笔记01一、大数据概念大数据 大数据(Big Data)：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。主要解决问题海量数据的采集存储和分析计算问题特点大量(Volume)高速(Velocity)：处理效率多样(Variety)：结构化(数据库、文本)/非结构化(音频、视频)低价值密度(Value)：数据总量越大，价值密度越低。有用数据提纯二、Hadoop入门
转载
2023-07-24 11:03:43
138阅读
04 | 移动计算比移动数据更划算那么如何解决 PB 级数据进行计算的问题呢？这个问题的解决思路其实跟大型网站的分布式架构思路是一样的，采用分布式集群的解决方案，用数千台甚至上万台计算机构建一个大数据计算处理集群，利用更多的网络带宽、内存空间、磁盘容量、CPU 核心数去进行计算处理。既然数据是庞大的，而程序要比数据小得多，将数据输入给程序是不划算的，那么就反其道而行之，将程序分发到数据所在的地方进
转载
2024-07-30 16:00:24
45阅读
我们此处使用的是VM虚拟机，centOS6.5的系统，初学者建议装中文版的系统，方便查看，我这边也是先装中文版的系统，本文章主要讲解如何在搭建大数据平台之前要对虚拟机进行环境配置工作，我会在重要的步骤截图上传，方便大家学习讨论，同时，对于一些拓展知识我会进行注释解释，一些其他相关知识也会在文章末尾写出来的，以下便具体的讲解如何进行配置
一、系统环境准备工作：
①
** 首先查看
转载
2024-07-22 12:47:21
28阅读
# Hadoop 大数据能用数据库吗
## 引言
随着大数据时代的到来，对于海量的数据存储和处理变得越来越重要。在这个背景下，Hadoop成为了一个非常流行的大数据处理框架。然而，很多人会好奇，Hadoop能否直接使用数据库来处理数据呢？本文将探讨这个问题，并通过代码示例来演示Hadoop与数据库的结合。
## Hadoop与数据库的关系
首先，我们需要理解Hadoop与数据库的本质差异。
原创
2023-08-19 13:16:28
48阅读
一、准备环境1.ubuntu16（使用虚拟机实现集群搭建） 2.jdk1.8二、安装包准备由于不同版本之间存在兼容问题，本次搭建使用的是hadoop2.7.1+hbase2.1.4+zookeeper3.6.2 安装包见云盘：链接: 安装包 提取码: 2b5a三、安装前准备1、节点主机名-IP映射（1）修改主机名（三台都需要修改）vim /etc/hostname 这里对三台主机的名字进行修改：n
转载
2023-11-09 09:44:56
73阅读
# 如何搭建大数据HBase列式数据库：新手指南
在当前大数据时代，HBase作为一个强大的列式数据库被广泛应用于处理海量数据。对于刚入行的小白来说，有时这项任务可能显得有些复杂。本文将为您提供一步一步的指导，帮助您顺利搭建HBase列式数据库。
## 任务流程
搭建HBase的流程大致如下所示：
| 步骤 | 描述 |
|------|------|
| 1 | 系统环境准备 |
环境服务器配置：CPU型号：CPU核素：内存：操作系统版本：CentOSLinuxrelease7.5.1804(Core)主机列表：192.168.0.101node1192.168.0.102node2192.168.0.103node3192.168.0.104node4192.168.0.105node4软件路径：/data/toolsjdk版本：1.8JAVA_HOME路径：/opt/j
原创
2018-05-30 14:47:43
7445阅读
# 搭建Hadoop大数据平台教程
近年来，大数据技术越来越受到重视，其中Hadoop作为大数据处理的一个重要工具。在本教程中，我们将一步步教你如何搭建Hadoop大数据平台。首先，让我们看一下整个流程：
| 步骤 | 操作 |
|------|------|
| 1. | 安装JDK |
| 2. | 安装Hadoop |
| 3. | 配置Hadoop集群 |
| 4. |
原创
2024-04-30 10:56:46
34阅读
2：环境搭建在 Hadoop 具体开始前, 先来搭建一下环境创建虚拟机安装虚拟机 VMWare创建虚拟机安装 CentOS组成集群配置每台主机关闭防火墙关闭 SELinux设置主机名重启设置时钟同步服务配置用户权限免密登录安装辅助软件JDKZookeeper安装 Hadoop下载并解压修改配置分发到每个节点格式化 HDFS启动集...
原创
2021-08-18 10:41:02
486阅读
学习大数据，hadoop集群搭建是第一步的，方便后面执行测试代码，调试环境。资源有限，这里采用windows上使用虚拟机，VMware。文章目录环境环境搭建环境虚拟机：VMware18环境：ubuntu，jdk1.8，hadoop2.7这里使用ubuntu，有些webui的东西可以看到，方便学习。jdk使用8，最普遍版本。环境搭建...
原创
2021-11-08 16:34:30
10000+阅读
学习大数据，hadoop集群搭建是第一步的，方便后面执行测试代码，调试环境。资源有限，这里采用windows上使用虚拟机，VMware。文章目录环境环境搭建环境虚拟机：VMware18环境：ubuntu，jdk1.8，hadoop2.7这里使用ubuntu，有些webui的东西可以看到，方便学习。jdk使用8，最普遍版本。环境搭建...
原创
2022-01-18 10:54:58
80阅读
2：环境搭建
在 Hadoop 具体开始前, 先来搭建一下环境
创建虚拟机
安装虚拟机 VMWare
创建虚拟机
安装 CentOS
组成集群
配置每台主机
关闭防火墙
关闭 SELinux
设置主机名
重启
设置时钟同步服务
配置用户权限
免密登录
安装辅助软件
JDK
原创
2022-03-04 16:59:45
196阅读
在这个博文中，我们将深入探讨“hadoop大数据搭建总结”的全过程，确保每个步骤都详细而清晰，便于读者理解和实践。搭建Hadoop大数据环境是数据工程师、分析师和开发者的重要任务，本总结会涵盖从环境准备到排错的各个阶段，每个部分都将讨论必要的工具、配置参数和优化技巧。
## 环境准备
在开始搭建Hadoop之前，让我们来了解一下所需的环境，包括软件和硬件要求，以及它们的兼容性。
### 软硬
