本文略长，希望各位大佬见谅！！！需要的安装包：jdk-8u162-linux-x64.tar.gz（ 提取码：6k1i ）、hadoop-3.1.3.tar.gz（ 提取码：07p6 ）1 集群规划安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划：主机名IP用户HDFSYARNhadoopMaster待定rmc0924NameNode、DataNodeNo
转载
2023-08-03 19:56:58
151阅读
spark集群架构官方文档：http://spark.apache.org/docs/latest/cluster-overview.html集群架构我们先看这张图这张图把spark架构拆分成了两块内容：1）spark应用程序：即左边的DriverProgram这块;2）spark 集群：即右边的ClusterManager和另外两个Worker Node;这样的结构，我们大概可以猜测一
转载
2023-07-20 22:09:02
39阅读
hadoop 大数据
转载
2018-04-13 09:55:35
2070阅读
# Hadoop入门：从零到一的大数据处理
## 引言
在当今数字化时代，数据的规模和复杂性不断增长。如何高效地处理和分析大规模数据成为企业和研究机构面临的重要挑战。Hadoop是一个开源的分布式计算框架，旨在解决大规模数据处理问题。本文将为您介绍Hadoop的基本概念和原理，并提供一些简单的代码示例。
## 什么是Hadoop？
Hado
原创
2023-08-31 08:33:34
78阅读
MYSQL集群搭建、主从配置、读写分离参考文档
《02_CentOS安装mysql数据库文档》
《03_Mysql主从配置文档》
《04_mysql主从知识点》分库分表分库：分布式项目用的比较多
设计到第三方系统
跨库查询：
配置多数据源分表：1：涉及海量数据存储
2：涉及到业务数据(分模块)存储
分表方式：
1：根据容量来分200M----不推荐使
作为Hadoop初学者，自然要从安装入手。而hadoop的优势就是分布式，所以，也一定要安装分布式的系统。整体安装步骤，包括Zookeeper+HDFS+Hbase，为了文章简洁，我会分三篇blog记录我的安装步骤。本文记录的是集群环境准备，zookeeper的安装步骤。~~~~~~~~~~~环境准备部分~~~~~~~~~~~~~~~~~IP部署规划（准备了三个虚拟机，操作系统是Centos6.7
1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop体系中
Redis集群原理节点主从（镜像全量）+哈希slot（分片）无主模型 遵循 CAP原则 C一致性 A可用性 P分区容错性，三者不可兼得数据放在大数据集群中的方式/集群承载数据的方式：分片 镜像全量镜像全量 优：做数据的高可用（节点不单一），不担心某一个节点故障，数据在其他节点有相同备份 缺：占用内存资源，横向来说，没有对数据的扩展能力（4G–>12G）分片 优：横向扩展能力强 缺：没有备份C
转载
2023-06-13 15:49:28
91阅读
# 尚硅谷Hadoop模板机搭建文档
在大数据领域，Hadoop是一个重要的框架，它可以帮助我们有效地存储和处理海量数据。对于刚入行的小白来说，搭建Hadoop环境可能会显得有些复杂。本文将帮助你理解并完成尚硅谷Hadoop模板机的搭建过程。
## 整体流程
以下是搭建Hadoop模板机的基本流程：
| 步骤 | 描述 |
|------
# 如何实现“redis有文档中文 知乎”
## 流程图
```mermaid
flowchart TD;
A(创建一个redis数据库) --> B(连接redis数据库);
B --> C(设置键值对);
C --> D(查询键值对);
D --> E(删除键值对);
```
## 关系图
```mermaid
erDiagram
USER ||
语法：<data android:scheme="string"
android:host="string"
android:port="string"
android:path="string"
android:pathPattern="string"
android:pathPrefix="string"
andro
转载
2023-07-03 22:04:11
45阅读
在大数据系统框架当中，Hadoop始终是一个值得关注的重点，经过这么多年的发展，Hadoop依然占据着重要的市场地位。学大数据，必学Hadoop，也说明了Hadoop在大数据当中的重要性。今天的大数据学习分享，给大家带来一份Hadoop技术入门书单。 Hadoop作为最早一代的大数据处理技术框架，很多企业最初开始搭建大数据系统框架，都是基于Hadoop来实现的，并且因为Hadoop技术生态圈成熟，
转载
2023-09-09 21:39:27
55阅读
本着对技术的追求，开始涉猎大数据相关书籍，第一个看到的就是Hadoop，本文对自己学习Hadoop中所解，所悟进行总结。第一本书籍是《Hadoop权威指南》第二版，可是这本书给人一种头重脚轻的赶脚，开篇就是很深入的技术，比较不易读，随即，选择了这本《Hadoop in Action》这本书在我看来也是基本摘抄权威指南的，这两本书目录结构基本相同，但是后者明显继承了In Action系列书籍的特色，
转载
2023-07-14 09:56:53
52阅读
1.概念 1.Hadoop是什么分布式系统基础架构 2.主要解决，海量数据的存储和海量数据的分析计算问题Hadoop生态圈 &nb
转载
2023-08-18 20:43:47
75阅读
存储跟服务器双机热备组件图形。好不容易从IBM那边要过来的...
转载
精选
2010-11-05 10:52:41
432阅读
安装epel源 (阿里云主机已安装)最好做ssh秘钥认证 ，本例中已做 yum -y install ansible 然后看一下都装了那些东西： rpm -ql ansible /etc/ansible/ansible.cfg #ansible的配置文件&nb
原创
2016-04-11 14:56:48
1158阅读
FTP全名是File Transfer Protocol(文件传输协议) C/S架构简介：下面是关于FTP这个服务的属性（1)FTP服务相关软件IIS Serv-U Vsftpd proftpd pureftpd（2）FTP客户端相关软件ftp命令 CuteFTP FlashFTP LeapFTP Filezilla gftp kuftp（3）VSFTP的守护进程/usr/sbin/vsftpd（
原创
2016-08-24 22:20:10
717阅读
# openvpn搭建文档## 安装相关包文件### 安装openssl和lzo包，lzo包用于压缩通讯数据加快传输速度```yum -y install openssl openssl-develyum -y install lzo```### 安装openvpn和easy-rsa```yum -y install openvpn easy-rsa```## 服务器端生成相关文件### 修改va
原创
2017-04-11 09:37:50
1333阅读
日常管理概述接着上一篇，这篇博客主要描述kvm日常管理中使用的一些方法和命令。kvm的管理主要有以下几个方面：kvm状态和配置管理：包括kvm虚拟机的开启、关闭、挂起、恢复，配置文件的导出导入和编辑，还有虚拟机重命名等磁盘管理：包括虚拟机磁盘的创建、信息查看、格式转换、容量更改以及格式化、挂载使用kvm的console连接kvm开机自启动kvm快照和克隆另外，网络模式更改和热添加技术在下一篇描述k
