Hadoop的HDFS文件系统概述Hadoop的HDFS文件系统是一种分布式文件系统，hadoop的核心组件之一。它的设计目标是能够在普通硬件上运行，并且能够处理大量的数据。HDFS采用了主从（Master/Slave）架构，其中有一个NameNode和多个DataNode。
NameNode作为Master节点：负责管理文件系统的命名空间，文件块的映射关系和客户端的访问。DataNode作
转载
2023-08-10 23:40:50
152阅读
这篇文章将会逐步介绍 Hadoop 集群的实现原理以及Hadoop集群的拓扑结构。并让大家通过拓扑图的形式直观的了解 Hadoop 集群是如何搭建、运行以及各个节点之间如何相互调用、每个节点是如何工作以及各个节点的作用是什么。明白这一点将会对学习 Hadoop 有很大的帮助。首先，我们开始了解 Hadoop 的基础知识，以及 Hadoop 集群的工作原理。
&n
转载
2023-09-06 09:35:31
273阅读
一、hive安装前提1. 安装好一台纯净linux虚拟机
2. 安装好hadoop，用于练习一台就够，不需要集群
3. 安装好mysql二、linux虚拟机配置1.配置静态地址vi /etc/sysconfig/network-scripts/ifcfg-ens332. 修改主机名vi /etc/hostname3.修改hostsvi /etc/hosts三、使用rpm安装mysql1. 查看系统
转载
2023-12-13 00:18:14
33阅读
什么是Hadoop：
Hadoop是一种用Java编写的框架，用于在大型商品硬件集群上运行应用程序，并具有类似于Google File System和MapReduce的功能 。
HDFS是高度容错的分布式文件系统，与Hadoop一样，旨在部署在低成本硬件上。
它提供对应用程序数据的高吞吐量访问，并且适用于具有大数据集的应用程序。
转载
2023-09-13 23:36:21
39阅读
一、简介maven： 是apache下的一个开源项目，是纯java开发，并且只是用来管理java项目的，Maven是跨平台的项目管理工具。 1.自动化构建和项目管理工具 Ant→Make→Maven→Gradle 2.Maven概述 ①读音：妹文、麦文 ②Maven作用一：自动化构建 ③Maven作用二：依赖管理[多了重复、少了报错] ④Ma
转载
2024-01-02 22:45:04
46阅读
Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的，是建立在Hadoop上的数据仓库基础构架。作为Hadoop的一个数据仓库工具，Hive可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能。 Hive作为构建在Hadoop之上的数据仓库，它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存
转载
2024-08-02 08:18:03
11阅读
jQuery是一个快速，小巧，功能丰富的JavaScript库。 jQuery是使HTML文档遍历和操作，事件处理和动画等操作变得更加简单。 jQuery的所有功能都是通过JavaScript访问的，因此掌握javas对于理解，构建和调试代码至关重要。1.什么是jQuery首先，让我们看一下使用JavaScript操作的HTML示例。 要获取id="start’的元素并将HTML更改为“开始吧，年
转载
2023-08-05 10:37:09
57阅读
# Javabus是什么？它的用途和应用案例
在现代软件开发中，系统间的通信是非常重要的。Javabus作为一个轻量级的消息总线框架，提供了有效的解决方案，使得不同组件或服务之间能够以解耦的方式进行通信。本文将深入探讨Javabus的概念，使用场景和实际代码示例，以帮助更好地理解其用途。
## 什么是Javabus？
Javabus是一个类事件驱动架构的工具，通常用于Java环境中。它能够使
原创
2024-08-13 06:08:02
303阅读
# Isospark简介与应用
## 什么是Isospark？
Isospark是一个用于数据处理和分析的开源框架，它能够处理大规模的数据集，通过利用Apache Spark的强大功能，用户可以在分布式环境中高效地运行数据分析和机器学习任务。Isospark提供了一些简单易用的API，使得数据科学家和工程师们可以更方便地进行数据流的管理和分析。
## Isospark的用途
Isospar
# Docker Desktop是用来干嘛的？
## 简介
Docker Desktop是一个用于构建和管理容器化应用程序的工具。它允许开发人员在本地计算机上运行和测试容器，而无需设置和管理自己的容器运行环境。Docker Desktop提供了一个用户友好的界面，使得容器化应用程序的开发和部署变得更加简单和高效。
## 安装和配置
要使用Docker Desktop，你首先需要安装它。Do
原创
2023-09-09 05:52:14
2081阅读
1.数据库中的exec命令，可以用来执行存储过程，可以把存储过程理解为定义在sql server数据库中的函数，而exec就是去执行该定义的函数，既然是函数，那么定义时就有一下几种类型 1）无参数无返回值的 2）有参数无返回值的 3）无参数有返回值的 3）有参数有返回值的下面举几个简单的例子，供
转载
2024-07-09 22:27:09
129阅读
##一个简单的例子## question 1我要输出一个当前时间的年月日时间格式的字符串 <br/> 2013-04-28 22:20:12一般而言我们可能会这么干SimpleDateFormat dateFormater = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Calendar cal = Calendar.getInstan
#Spark入门#这个系列课程，是综合于我从2017年3月分到今年7月份为止学习并使用Spark的使用心得感悟，暂定于每周更新，以后可能会上传讲课视频和PPT，目前先在博客园把稿子打好。注意：这只是一个草稿，里面关于知识的误解还请各大网友监督，我们互相进步。总而言之，网络上的知识学会断舍离，学会带着辩证的眼光去学习就能进步。 谈到Spark，实际上从16年本科实习的时候就已经开始接触，那个时候是
转载
2024-06-12 00:36:51
34阅读
hadoop中pig是干嘛的？在大数据处理的世界里，Apache Pig 是一个用于处理和分析大型数据集的高级平台。它是构建在 Apache Hadoop 之上的一个脚本语言，能够让用户以一种更简单的方式处理复杂数据操作。Pig 主要通过 Pig Latin 脚本来实现数据的流式处理、转化和分析，并且支持用户定义函数（UDF），使得 Hadoop 的使用变得更加灵活和高效。
### 版本对比
说明：步骤为一些视频文件，实践中发现的问题已经由个人实践进行补充说明。Linux虚拟机的网络配置和系统配置个人网络配置如下：使用NAT模式 Linux虚拟机的网络配置1、打开安装好的CentOS虚拟机dajiangtai。 2、登录到C
Hadoop的运行模式Hadoop一般有三种运行模式，分别是：单机模式（Standalone Mode），默认情况下，Hadoop即处于该模式，使用本地文件系统，而不是分布式文件系统。，用于开发和调试。伪分布式模式（Pseudo Distrubuted Mode），使用的是分布式文件系统，守护进程运行在本机机器，模拟一个小规模的集群，在一台主机模拟多主机，适合模拟集群学习。完全分布式
转载
2024-06-25 09:09:16
20阅读
Hadoop MapReduce执行过程详解（带hadoop例子） 1.MapReduce是如何执行任务的？ 2.Mapper任务是怎样的一个过程？ 3.Reduce是如何执行任务的？ 4.键值对是如何编号的？ 5.MR中job参数及设置map和reduce的个数 6.实例，如何计算没见最高气温？ 1、分析MapReduce执行过程
&nb
转载
2024-10-09 21:22:07
19阅读
CM自动化安装CDH5.14.0详解 目前企业级大数据集群安装有两套方案：Ambari + hdp 或者Cloudera Manger + CDH CDH：一个对Apache Hadoop的集成环境的封装，可以使用Cloudera Manager进行自动化安装 CDH5.14.0版本说明 CDH最早版本只包含hadoop、hive、hbase等基础组件，CDH5.14.0版本目前已经封装了spar
转载
2023-11-20 07:04:51
46阅读
1 Yarn的MapReduce工作流程经典的MapReduce顶层包括5个独立实体 客户端，提交MapReduce作业YARN资源管理器，协调集群上计算资源分配YARN节点管理器，负责启动和监视集群中的containerMapReduce应用程序master，协调运行中的作业任务分布式文件系统（一般为HDFS），与其他实体间共享作业文件提交作业的步骤，一张图就可以了，照着书上画的，加了
转载
2024-06-05 10:36:28
81阅读
# Java参数的使用指南
在Java编程中，参数是非常重要的概念，它使得方法可以接收外部输入，从而增强了代码的灵活性和复用性。本文将为你详细解释Java参数的作用，并展示如何使用它们。
## 整体流程
为了更好地理解Java参数的使用，我们将整个过程分为以下几个步骤：
```mermaid
flowchart TD
A[开始] --> B[定义方法]
B --> C[声明
原创
2024-08-24 07:16:56
43阅读
