Hadoop是大数据生态圈的一个泛称，是Apache软件基金会为解决大数据量的文件存储于对大数据的分析计算，成立的一个项目小组叫做Hadoop。Hadoop从狭义来说，就是Hadoop这款大数据分布式分析计算以及存储的系统： HDFS ：分布式文件系统 MapReduce : 分布式计算系统 Yarn：分布式集群资源管理但是从广义上讲，Hadoop现在已经是指大数据生态圈的一个泛称。编译Ha
转载
2023-07-20 17:19:11
150阅读
在配置hadoop中，经常会有好几台机器组成一个分布式集群，各个机器之间的通信通常需要使用ssh的方式进行连接。正常情况下，我们连接登录机器的时候是需要输入IP、用户名、密码等等的信息，但是由于经常需要频繁地连接，因此若每次都需要输入这些信息那就太过繁琐了，因此最好将集群各个机器配置免密码登录。下面简单将一下免密码登录的原理：
首先讲一下计算机网络安全中
转载
2023-07-20 17:17:23
417阅读
1.概述 最近，有小伙伴涉及到源码编译。然而，在编译期间也是遇到各种坑，在求助于搜索引擎，技术博客，也是难以解决自身所遇到的问题。笔者在被询问多次的情况下，今天打算为大家来写一篇文章来剖析下编译的细节，以及遇到编译问题后，应该如何去解决这样类似的问题。因为，编译的问题，对于后期业务拓展，二次开发，编译打包是一个基本需要面临的问题。2.编译准备 在编译源码之前，我们需要准备编译所需要的基本环境。
转载
2024-08-02 13:36:51
22阅读
在10多年前，Google出了3篇paper论述分布式系统的做法，分别是GFS, MapReduce, BigTabl，但是未公开系统的实现。于是，工业界便按照这三篇论文的思想去实现了一些系统，Hadoop便是其中之一。后来，Hadoop得到Yahoo的支持才正式启航，得到了大规模的发展。 之所以Hadoop适合做大数据，有以下几个原因：首先，Hadoop扩展性好。不同于其他大多数系统，为了提高
转载
2023-08-10 13:19:06
105阅读
最近负责的项目准备上大数据平台存储，主要还是围绕Hadoop平台来实现，虽然打算上cdh版本的hadoop，但是为了前期方便开发还是先使用原声的hadoop进行开发，后期再准备更好的环境进行扩展。环境准备三台服务器系统环境是建立在Centos7.6基础上。并且是建立在root账户上运行的，如果需要使用其他用户操作，注意权限的问题基础机器分配在三台新购买的服务器上进行搭建。服务器规划如下hostna
转载
2024-07-25 20:02:14
41阅读
Hadoop使用学习笔记2. 基本Map-Reduce工作配置与原理（上）我们假设MapReduce任务为统计所有文件中每个词语出现次数。整个MapReduce流程主要如下所示，可以分为四步：我们将统计所有文件中每个词语出现次数拆分成为：文件输入转换成Map工作可处理的键值对（后面我们会知道是以文件位置为key，文件内容为value）Map：提取上一步value中的所有词语，生成以词语为key，v
转载
2023-09-21 23:26:03
121阅读
在这个网络时代，网站作为企业网上的形象是十分重要的。网站的定位与网页设计直接影响着企业的推广营销工作的成功与否。根据现今企业发展的客观规律，人们发现，企业的知名度和实力往往与其企业网站的设计制作水平成正比。因此，如果企业想要追求更加长远的发展，那么就一定做好企业网站建站。那么做企业网站建站具体来说有哪些必要性呢？第一、公司可以利用企业网页，宣传企业自身。通过网站，企业可以向外宣传企业的文化、企业的
转载
2024-01-17 22:52:55
28阅读
Hadoop编译安装指南（centos 7）1 hadoop编译1.1 为什么需要编译？ 我们都知道hadoop使用JAVA语言来编写的，而官方提供的是.java文件，我们需要编译成能够被JVM可执行的.class文件。才能够再JVM上运行，才能够正常安装。1.2我们需要准备哪些工具？1.2.1 pro
转载
2024-01-17 08:40:32
56阅读
在学习Hadoop之前，我们需要先了解一下Hadoop是用来做什么的？在大的企业的应用服务中，用户会产生大量的数据，登录记录、注册记录、消费记录等等，对于企业来说这些数据可以用来分析用户行为，来制定对应的策略，但是大量的数据的存储是非常重要的问题。独立式存储以前的企业存储用户数据，通常会准备一台超大的服务器，来存储大量的数据，这种叫做独立式的存储系统，这种存储系统存在非常多的弊端，比如单机存储，很
转载
2023-08-21 20:20:16
91阅读
Hadoop是一个分布式计算框架，能够处理大规模数据集。在Hadoop中，要保证各个节点的时间同步非常重要。本文将介绍Hadoop为什么要时间同步，并指导刚入行的开发者如何实现。
### 时间同步的重要性
在一个分布式系统中，各个节点之间的时间需要保持一致，这样才能保证数据的正确处理和计算的准确性。Hadoop是一个基于时间的系统，它使用时间戳来管理数据的顺序和一致性。如果各个节点的时间不同步，
原创
2024-01-27 05:30:15
219阅读
# 搭建Hadoop集群的流程
搭建Hadoop集群是为了能够处理大规模的数据，并且具备高可用性和容错能力。在这篇文章中，我将向你介绍搭建Hadoop集群的流程，并告诉你每一步需要做什么以及使用的代码。
## 流程概述
以下是搭建Hadoop集群的步骤概述：
1. 安装JDK和Hadoop软件包
2. 配置Hadoop的环境变量
3. 配置Hadoop的核心文件
4. 配置Hadoop的分
原创
2023-12-06 15:33:25
64阅读
Hadoop是一个用于大规模数据处理的开源框架，它通过将数据分割成小块并存储在多个节点上，实现了并行计算和分布式存储。在使用Hadoop时，为什么要将数据分块存储是一个重要的问题。本文将介绍Hadoop为什么要分块存储的原因和实现步骤。
## 1. Hadoop分块存储的原因
Hadoop采用分布式存储的方式，将大规模数据分割成多个块，每个块存储在不同的节点上。这种分块存储的方式有以下几个原因：
原创
2024-02-13 10:22:17
106阅读
# 为什么要在Hadoop中安装MySQL
## 1. 流程
以下是在Hadoop中安装MySQL的流程：
| 步骤 | 操作 |
|---|---|
| 1 | 下载MySQL JDBC驱动 |
| 2 | 将MySQL JDBC驱动添加到Hadoop的classpath中 |
| 3 | 创建数据库和表 |
| 4 | 在Hive中配置并使用MySQL |
## 2. 操作步骤
##
原创
2024-05-05 03:51:59
39阅读
所用信息版本： 主节点1台： ubuntu 16.04 desktop . 从节点2台： ubuntu 14.04 serverhadoop 2.7.4spark 2.2.0 java 1.8scala 2.12.3（搭建过程 也是linux 命令熟悉过程）先改下 三台主机名称： 主节点; server1 ，从节点slave1,slave2&
首先，为什么要编译hadoop？hadoop官网不是有现成编译好的包吗？那是因为hadoop官方提供的是在32位系统下编译过的hadoop，要想在64位系统下运行hadoop必须要重新编译。(注意：在编译全程需要联网)
(一)下载hadoop 到官网http://hadoop.apache.org/releases.html下载hadoop2.8.1版本的包，其中source就是我
转载
2023-07-12 13:48:30
170阅读
为什么要学习 Linux Windows 系统占据了桌面系统，Linux 系统则占据了服务器系统， 目前企业中大量的使用 Linux 操作系统作为服务器，因为 Linux 系统相比 Windows 系统资源资源占用更少，性能更好，更适合做服务器 常见的大数据平台都是在 Linux 系统运行的，比如 ...
转载
2021-10-28 18:55:00
183阅读
2评论
不论你是否知道，其实你每天都在使用Linux。每次你访问微博、百度甚至是一些小电影网站，你的客户端（浏览器）都在与运行在Linux系统上的服务端程序进行通讯，大多数的电子设备，例如数位录像机、飞机、自动驾驶汽车以及近年来智能电视，他们都跑在Linux之上，如果你正在使用Android手机，那么你更是无时无刻的在使用Linux，有过刷机经验的人大概都通过adb像Linux发起过命令，虽然你不懂这条命
转载
2019-06-24 16:23:56
354阅读
为什么会写这个话题，因为创作的第一篇博文0访问，0浏览，然后系统给了一篇《什么样的博文才能上首页和推荐呢？》然后看到了上首页的标准，其中摆在第一位的就是内容与观点的原创性。好吧，第一篇博文确实有百度的部分，那么，这个问题更引我思考的是，什么样的同学才需要学习Linux，那么我先分享一下我学习Linux的原因吧1、工作需要我从事的教学工作中涉及Linux部分基础内容，没办法，自己不会没法跟学生讲解，
原创
2023-02-05 21:50:11
61阅读
点赞
学习Linux是当今IT行业非常重要的一项技能。Linux是一个开源的操作系统，被广泛应用于服务器、嵌入式系统以及移动设备中。那么，为什么要学习Linux呢？
首先，学习Linux可以为你的职业发展提供更多的机会。随着云计算和大数据等领域的不断发展，对于懂得Linux的技术人才的需求也越来越大。许多企业都在寻找懂得Linux的人才来管理他们的服务器和网络系统。因此，学习Linux可以为你在职场上
原创
2024-03-11 09:54:53
119阅读
第一次接触linux，平常使用win系统的我有点懵圈。万事开头难，正因为难才体现出linux的价值。
原创
2020-05-02 13:25:25
412阅读
