说明：这里我们以本地模式和伪分布模式伪列，为大家介绍如何搭建Hadoop环境。有了这个基础，大家可以自行搭建Hadoop的全分布模式。需要使用的安装介质：hadoop-2.7.3.tar.gzjdk-8u181-linux-x64.tar.gzrhel-server-7.4-x86_64-dvd.iso一、安装前的准备工作安装好Redhat Linux 7.4（安装包rhel-server-7.4
转载
2021-04-29 14:31:29
160阅读
2评论
在部署Hadoop之前，需要对Hadoop的目录结构要有一定了解。
点击这里查看视频讲解：【赵渝强老师】：Hadoop的本地模式
先执行下面的语句将Hadoop的安装介质解压的/root/training目录。
tar -zxvf hadoop-3.1.2.tar.gz -C ~/training/
下面展示了Hadoop的目录结构。
为了方便操作Ha
HDFS的快照（Snapshot）是一个全部文件系统、或者某个目录在某一时刻的镜像。这里其实可以把HDFS的快照理解成是HDFS提供的一种备份机制。快照应用在以下场景中：
防止用户的错误操作
备份
试验/测试
灾难恢复
点击这里查看视频讲解：【赵渝强老师】：Hadoop HDFS的快照
由于HDFS的快照功能是针对的目录，因此需要首先使用HDFS的管理员命令开启目录的快
OCP的全称是OceanBase Cloud Platform，即：OceanBase云平台。OCP面向有OceanBase管理需求的中小型用户，提供了基础的主机管理、OceanBase 集群和租户运维等能力。在OCP中主要包含两个组成部分，它们分别是：MetaDB和OCP Server。MetaDB是OCP的重要组成部分，MetaDB为OCP管理元信息及监控数据提供底层存储能力；而OCP Se
从今天开始，做一个云盘。不知道什么时候才可以完成任务。
原创
2013-11-22 20:12:28
587阅读
下图为大家展示了Hadoop生态圈体系中的主要组件以及它们彼此之间的关系。
点击这里查看视频讲解：【赵渝强老师】：Hadoop生态圈组件
这里先简单说明每一个组件的作用功能。
一、HDFS
它的全称是Hadoop Distributed File System，它是Hadoop分布式文件系统，用于解决大数据的存储问题。HDFS源自于Google的GFS论文，
由于在HA架构中包含的节点比较多，在进行实际部署的时候需要做好集群的规划。下表一共使用了4个节点来部署HDFS HA，它们分别是：bigdata112、bigdata113、bigdata114和bigdata115。由于Hadoop默认包含了HDFS和Yarn，因此在部署HDFS HA的时候，也可以同时部署Yarn的HA。每个节点上部署的服务如下表所示：
点击这里查看视频
# 实现“mysql 赵渝强著”
## 引言
在当今信息化时代，数据库是我们经常会用到的一种技术。而MySQL作为最流行的关系型数据库管理系统之一，为我们存储和管理大量数据提供了便利。本文将指导一位刚入行的小白如何实现“mysql 赵渝强著”。
## 整体流程
首先，我们来看整件事情的流程。下面是一个表格展示了实现“mysql 赵渝强著”的步骤：
| 步骤 | 操作 |
|----|----
原创
2023-12-12 08:02:09
15阅读
云计算的几大形式云计算服务类型
基础设施即服务（IaaS） - 提供硬件设备 ：例如 个人搭建网站不需要再去租服务器，买数据库，可在云平台上付费购买空间及相应服务。
eg. Google app engine ; Amazon Web Services (AWS) ; 阿里云；新浪云软件即服务（SaaS） - WebService ： 各系统之间可以相
转载
2023-08-11 13:22:58
120阅读
阿里云安装部署Oracle11g 在云计算时代是很方便的，可靠的IAAS，PAAS和SAAS平台可以帮助用户将已有或正在研发的项目迁移到云计算平台。环境准备：购买阿里云ECS服务器计费方式：可选包年包月，建议业务量较多的的，数据库要一直在线的，选包年包月。地域选择：和你的应用服务器，最好是在同一个可用区（访问速度最快），也可以同一地域，不同可用区，用于多机房部署的情况。CPU内存： 根据实际需要选
转载
2023-12-08 17:20:59
674阅读
摘要：云计算是分布式计算,并行计算和网格计算的发展,给人类生活,生产方式和商业模式带来根本性改变,是当前全社会的热点之一.云存储是从云计算概念上延伸发展出来的一个新的概念,它是指通过集群应用,网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.随着云计算技术与云存储技术的广泛应用,其存在的安全问题不断突显
转载
2024-05-27 19:23:02
26阅读
MongoDB是非关系型数据库NoSQL的代表，作为一款可分布式存储的数据库，对文档的操作是MongoDB的重中之重。在本文中，我们将着重为大家介绍如何在MongoDB中插入文档。MongoDB一共为我们提供了三种方式用于插入文档：db.collection.insertOne() ：插入一个指定文档db.collection.insertMany() ：插入多个指定文档db.collection
转载
2021-05-07 13:18:06
270阅读
2评论
Hadoop大数据公开课招募啦~~~ 赵强老师免费公开课 l 时间：2017年03月14号晚19:30-21:00n 19:30-20:30讲述Hadoop的背景知识，包括：大数据背景、数据仓库、Hadoop的思想来源（Google的三大思想）n 20:30-21:00答疑 l 讲师简介13年IT行业从业经历，清华大学计
原创
2017-02-14 11:35:35
6650阅读
Hadoop云盘项目总结0. 项目介绍介绍视频：
基于Hadoop搭建HA高可用网盘系统 搭建过程： 我的搭建过程 小组成员的搭建过程 项目地址待完善后会发出来 技术栈:HDFS、Sqoop、Flume、Ganglia、Azkaban、Zookeeper、Redis、Nginx、Docker、Vue-Cli **实现功能：**使用 Hadoop 搭建 HA 集群实现网盘系统，前端采用
转载
2024-05-08 09:17:24
6阅读
在Hadoop HDFS的体系架构中，包含了三个组成部分。它们分别是：NameNode、DataNode和SecondaryNameNode。下图摘至Hadoop官方的网站，它说明了HDFS的体系架构。
点击这里查看视频讲解：【赵渝强老师】：HDFS的体系架构
一、NameNode的职责
NameNode，即名称节点，它是HDFS的主节点，其主要作用体现在以下几个方面。
对运行状态的Redis实例进行监控是运维管理中非常重要的内容，包括：监控Redis的内存、监控Redis的吞吐量、监控Redis的运行时信息和监控Redis的延时。通过Redis提供的监控命令便能非常方便地实现对各项指标的监控。
一、监控Redis的内存
点击这里查看视频讲解：【赵渝强老师】：监控Redis的内存
Redis监控内存最直接的方法当然就是使用系统提供的info
阿里云大数据计算服务（MaxCompute）是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
点击这里查看视频讲解：【赵渝强老师】阿里云大数据存储计算服务MaxCompute
一、 什么是MaxCompute？
随着数据
基于开源的大数据技术，阿里云开发了自己的大数据计算服务，即：MaxCompute大数据计算服务。MaxCompute原名为ODPS（Open Data Processing Service），它是阿里云提供的数据仓库解决方案，并提供大数据量（百TB、PB、EB）的结构化数据的存储和计算服务。由于MaxCompute适用于离线计算的批处理场景，因此阿里云进一步开发了实时计算Flink版用于支持
阿里云提供的大数据计算服务MaxCompute（原名ODPS，Open Data Processing Service的简称）是一种快速、完全托管的EB级数据仓库解决方案，主要用于实时性要求不高的离线计算分布式处理场景。因此，大数据计算服务MaxCompute不能用于数据的实时处理场景中。MaxCompute由四部分组成，分别是计算与存储层（MaxCompute Core）、逻辑层 (MaxCo
目录1.配置host2.设置共享文件夹3.安装mysql4.在eclipse中安装并新建Dynamic Web Project5.Tomcat安装6.进行jar包的拷贝7.代码编写7.1 index.jsp7.2 head.jsp7.3 UploadServlet.java7.4 HdfsDAO.java7.5 DeleteFileServlet.java7.6 DownloadServlet.
转载
2024-07-18 06:54:04
123阅读
