我深入分析了五个大数据处理框架：Hadoop，Spark，Flink，Storm，SamazaHadoop顶尖的框架之一，大数据的代名词。Hadoop，MapReduce，以及其生态系统和相关的技术，比如Pig，Hive，Flume，HDFS等。Hadoop是第一个，在工业界被广泛采用。为什么仍然使用Hadoop。尽管Hadoop被用来处理复杂数据，其本身其实相当简单。如果你的数据可以批量处理，可
转载
2023-09-20 10:52:11
31阅读
1.准备阶段1.1.新建三台虚拟机Hadoop完全分市式集群是典型的主从架构(master-slave)，一般需要使用多台服务器来组建。我们准备3台服务器(关闭防火墙、静态IP、主机名称)。如果没有这样的环境，可以在一台电脑上安装VMWare Workstation。在VM上安装三台Linux，分别是1个主节点，2个从节点，如下图所示。节点类型IP地址主机名NameNode192.168.86.1
按照上几篇的内容，安装好两台ubuntu虚拟机之后，首先确定好哪台机子做namenode，哪台做datanode，打开终端,输入：$sudo vi /etc/hosts
在打开的文件中输入主机名和IP地址，比如我的是：127.0.0.0 localhost202.118.212.4 ubuntu202.118.212.5 ubuntu01两台虚拟机上都要这么写，然后开启SSH服务，确保两台虚拟机能
转载
2024-01-18 10:41:25
42阅读
一个HDFS集群（简单理解我们搭建的Hadoop集群）即一个namenode与N个datanode的组合。
1. namenode节点-Master节点： （1）namenode是整个HDFS系统的入口，响应用户请求并实现对文件的管理操作。 （2）管理文件划分为多少个bloc
转载
2023-12-28 10:05:44
79阅读
## Hadoop节点数量与服务器数量关系解析
Hadoop是一个开源的分布式计算平台，用于存储和处理大规模数据。在Hadoop中，节点是指安装Hadoop的服务器或虚拟机。那么问题来了，假设我有20台服务器，那么这些服务器可以部署多少个Hadoop节点呢？在本文中，我们将解析这个问题，并给出一个简单的代码示例。
### Hadoop节点数量计算公式
在Hadoop中，每个节点都有一个唯一的
原创
2024-05-10 05:35:31
93阅读
OSPF是一个开放的最短路径优先协议，被广泛用于计算机网络中的路由选择。在华为交换机中，OSPF可以通过配置路由器来实现动态路由的功能。
在华为交换机中，OSPF协议可以支持多少台设备呢？这个问题其实并没有一个具体的答案，因为在实际应用中，OSPF协议所能支持的设备数量是受到网络规模和配置的影响的。
一般情况下，如果网络规模比较小，只涉及到几台交换机或路由器，那么OSPF协议可以轻松地支持这些
原创
2024-02-20 10:39:21
70阅读
1.准备Linux环境（本地虚拟机VMWare下）1.0 先将虚拟机的网络模式选为NAT1.1 修改主机名vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=had ###1.2 修改IP 两种方式： 第一种：通过Linux图形界面进行修改进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit conne
转载
2024-09-05 13:19:18
35阅读
1 单服务器主机托管解决方案（Windows 2003+ISAMware Server）
有一些单位在电信、网通或其他运营商的机房，放置了一台服务器进行托管，这些服务器一般会获得一个公网IP，并且用“主机头名”的方法，放置多个网站或论坛。
对于大部分人来说，如果只放一个网站，那么将服务器安装个Windows Server 2003或Linux，直接放网站就可以了。对
转载
2024-01-09 11:26:33
7阅读
Hadoop NameNode 高可用官方网站namenode可以手动进行切换也可以使用zookeeper进行自动的切换，下面只有第二种方法。配置zookeeper基本环境配置此时存在多台namenode，这些namenode之间需要进行免密配置。修改配置文件1. hdfs-site.xml<configuration>
<property>
<
转载
2023-08-23 20:35:25
44阅读
一、准备准备一台内存最少8G（建议16G）、cpu i7 4核的电脑二、目录安装虚拟化软件VMware准备3台linux虚拟机搭建3节点的hadoop集群四、知识要点VMware版本：VMware建议使用比较新的版本，如VMware 15.5关于VMware的安装，直接使用安装包一直下一步安装即可，且安装包当中附带秘钥，进行即可使用linux版本linux统一使用centos7.6 64位
转载
2024-01-31 11:38:16
129阅读
第132讲：Hadoop集群监控：日志、Metrics学习笔记一般用第三方工具，因为有针对性，可视化更好。监控的目标是检测集群，在什么时候没有提供需要的服务。hadoop最需要监控的是namenode,secondarynamenode,resourcemanager等。当然也要监控datanode和nodemanager。依据日志可以发现系统的发生的事件。从日志角度讲默认日志信息不够，希望改变日
转载
2023-07-18 11:33:35
53阅读
【网易智能讯 9月27日消息】今天下午，国内机器人公司优必选在上海召开发布会，正式推出旗下新款便携智能机器人“悟空“以及ROSA机器人操作系统。 据悉，悟空机器人今年8月在世界机器人大会上就已亮相。这款机器人外观萌趣、便携，可应用于教育、家庭、办公等多个场景。悟空机器人内置了14个高精度微型伺服舵机，加上与微纳感知的合作，这款机器人非常灵敏，不仅能更好地感知外部环境，还可以灵活的运动和
# 实现"openstack 推荐多少台"的流程及代码示例
## 1. 流程图
```mermaid
flowchart TD
A(开始) --> B(登录OpenStack)
B --> C(选择计算服务)
C --> D(创建虚拟机)
D --> E(配置虚拟机规格)
E --> F(确认推荐台数)
F --> G(结束)
```
## 2
原创
2024-04-04 03:30:50
23阅读
基本环境操作系统：CentOS 7.4主机名ip地址角色master.openshift.com.cn10.199.27.30masternode01.openshift.com.cn10.199.27.48computenode02.openshift.com.cn10.199.27.46infra检查SELinux（需要开启）vim /etc/selinux/config SELINUX=en
2.Redis简介：Redis是意大利人开发的一款内存高速缓存数据库，是一个高性能的键值对（key-value）存储数据库。全称是：Remote Dictionary Server(远程数据服务),使用C语言编写，并以内存作为数据存储介质，所以读写数据的效率极高。特性：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-va
转载
2024-10-15 10:18:49
9阅读
P39 HDFS课程介绍P40 HDFS产生背景和定义多台服务器存储其中 一部分 HDFS不能进行修改，上传来的文件只能追加P41 HDFS优缺点每个文件块占150字节，内存128G，算下来能存9亿个文件P42 HDFS组成namenode管理谁在什么位置，块的存储信息，处理客户端读写请求2nn并非namenode热备，当namenode宕机后，并不能马上替换namenode服务。只是辅助name
转载
2023-11-18 23:31:43
127阅读
# 实现Hadoop数据中台的流程
## 步骤
以下是实现Hadoop数据中台的流程，共分为五个步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 搭建Hadoop集群 |
| 2 | 准备数据 |
| 3 | 数据清洗和转换 |
| 4 | 数据存储与管理 |
| 5 | 数据分析与可视化 |
## 1. 搭建Hadoop集群
在这一步中，你需要搭建一个Hado
原创
2024-04-26 06:50:37
51阅读
一、题目要求大规模（百万以上）中文网页聚类 分布式计算平台：Hadoop 数据输入：未经处理的原始网页数据输出：对每一个网页进行聚类标注输入数据说明：每一行为一个网页。 Key (LongWritable) 每一个网页的全局ID号 Value (Text) 网页内容输出数据说明：每一行为一个网页。 Key (LongWritable) 每一个网页的全局ID号 Value (IntWritable)
# Hadoop 数据中台简介
## 什么是 Hadoop 数据中台
Hadoop 数据中台是一个基于 Hadoop 生态系统的数据处理平台，旨在提供大数据存储、计算和分析的能力。它将分布式存储和计算框架的强大功能与数据处理流程的灵活性相结合，为企业提供了一个全面且高度可扩展的数据处理解决方案。
Hadoop 数据中台的核心组件是 Hadoop 分布式文件系统（HDFS）和基于 MapRed
原创
2023-10-27 09:33:27
61阅读
# 数据中台 Hadoop
## 引言
在当今的信息时代，数据是无可避免的存在，每天我们都在产生大量的数据。为了能够更好地处理和分析这些数据，数据中台的概念应运而生。数据中台是一个集中存储、管理和分析数据的平台，为企业提供数据驱动的决策支持。
Hadoop是一个开源的大数据处理框架，它提供了存储和处理大数据的能力。本文将介绍Hadoop的基本概念和使用方法，并通过代码示例演示如何使用Hado
原创
2023-08-27 12:00:00
48阅读
