目录简介1. 软件环境2. 虚拟机配置2.1 设置网络IP(NAT模式)2.2 关闭防火墙2.3 永久修改设置主机名2.4 配置映射文件2.5 配置ssh免密登录2.6 安装jdk2.7 关闭selinux 安全模块3.环境准备3.1 私有网络软件仓库3.1.1 上传镜像3.1.2 挂载镜像3.1.3 安装http(如果已经安装可以省略，但是需要启动，一b般最小化安装不会安装此服务)3.1.4
转载
2023-11-28 10:53:47
76阅读
安装cdh6.3.2前言一、配置ssh二、安装jdk三、安装mysql四、安装cm4.1 mysql中建库4.2 安装cm五、安装CDH集群5.1 接受条款和协议5.2 集群安装六、安装spark七、其他配置与安装7.1 修改HDFS的权限检查配置7.2 配置NameNode HA7.3 配置Yarn HA 前言 之前有写过cdh5.x的安装过程，但是这次想体验下在cdh6.3.2下操作的体验
转载
2024-01-17 12:16:36
28阅读
1，概述鸿蒙轻量级偏好数据库-Preferences。 轻量级偏好数据库主要提供轻量级Key-Value键值对形式操作，支持少量数据，数据存在在本地文件中，同时也加载在内存中，所以速度快，效率高，属于非关系型数据库，不宜存储大量数据。 运作机制如图： 约束与限制: （1）Key键为String类型，要求非空且大小不超过80个字符。 （2）如果Value值为String类型，可以为空但是长度不超过8
转载
2024-03-29 09:34:21
47阅读
## 如何实现“CDH连接Hive数据库”
### 一、流程概述
在CDH（Cloudera Distribution for Hadoop）环境中，连接Hive数据库需要经过一系列步骤。下面是详细的流程表格：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 安装Hive客户端 |
| 步骤二 | 配置Hive连接属性 |
| 步骤三 | 连接Hive数据库 |
###
原创
2023-11-18 13:28:45
193阅读
关系模式中的各属性之间的相互依赖，相互制约的联系称为数据依赖。数据依赖一般分为函数依赖，多值依赖，连接依赖，最重要的是函数依赖。 1.函数依赖是关系模式中属性之间的一种逻辑依赖关系。下面是展示的3个关系示例：学生关系：S(SNO,SN,AGE,DEPT); 选课关系：SC(SNO,CNO,SCORE); 系关系：D(DEPT,MN)
转载
2023-09-06 17:29:43
75阅读
# CDH Hive元数据库更换指南
在大数据领域，Hive作为一个非常重要的项目，主要用于数据仓库和分析。CDH（Cloudera Distribution including Apache Hadoop）是一个流行的分布式数据处理框架，其中包括Hive。在生产环境中，可能由于性能、安全或其他原因，需要更换Hive的元数据库。本文将详细介绍在CDH中更换Hive元数据库的步骤。
## 什么是
原创
2024-09-03 04:18:10
168阅读
第一步：准备工作一、3台服务器，硬盘实际情况选择，测试环境内存建议大于16G服务器IPhostname192.168.1.122cdh-001192.168.1.123cdh -002192.168.1.124cdh -003二、软件安装包选择操作系统版本号Centos7.0Cloudera-Manager5.15.2CDH5.15.2MySql5.7.0Jdk1.8.0三、Cloudera-Ma
转载
2024-09-26 21:16:18
73阅读
1、数据库概述数据库库是存储、调用、分析数据的仓库，主要分为关系型数据库管理系统（RDBMS）与非关系型数据库管理系统两类关系数据库是数据库应用的主流关系型数据库以行和列的形式存储数据，这一系列的行和列被称为表，一组表组成数据库。目前主流关系型数据库有Oracle、DB2、Microsoft SQL Server、MySQL等。操作关系型数据库时使用的语言叫结构化查询语句，简称SQL结构化查询语言
转载
2023-08-22 01:15:24
69阅读
一、部署前的准备 1、检查jdk是否安装：参考jdk安装配置文档（jdk7或jdk8，所有节点都要一致）2、兼容性建议：CentOS6.8+CDH5.11.x(x>1)+mysql5.x+jdk1.7u80***CDH5.13以上包含kafka3.0，不支持jdk1.7******CDH不支持ipv6，需提前关闭***二、在线安装 （不推荐，安装慢，失败率高，原因你懂
转载
2024-01-29 11:52:16
87阅读
一、Mysql单例数据库架构 1、Mysql体系介绍网络连接层：提供与Mysql服务器建立连接的支持核心服务层：主要包含系统管理和控制工具、连接池、SQL接口、解析器、查询优化器和缓存六个部分存储引擎：负责Mysql中数据的存储与提取，与底层系统文件进行交互文件系统：负责将数据库的数据和日志存储在文件系统之上，并完成与存储引擎的交互，是文件的物理存储层2、SQL运行过程3、InnoDB内存和存储结
转载
2023-09-19 00:55:08
115阅读
一：什么是数据库架构DBMS体系结构有助于数据库的设计，开发，实现和维护，数据库可以存储企业的关键信息，选择正确的数据库体系结构有助于快速安全地访问数据。二：数据库架构有几层1层架构最简单的数据库体系结构是1层，其中客户端，服务器和数据库都驻留在同一台机器上。无论何时在系统中安装数据库并访问，都是1层架构，但这种架构很少用于生产。2层架构双层体系结构是一种数据库体系结构，表示层在客户端(PC，移动
转载
2023-06-01 09:36:55
227阅读
数据库系统一、数据库的结构从数据库应用开发人员角度看，数据库系统通常采用三级模式结构，是数据库系统内部的系统结构。从数据库最终用户角度看，数据库系统的结构分为:单用户结构、主从式结构、分布式结构、 客户-服务器、浏览器-应用服务器／数据库服务器多层结构等。1 数据库系统模式的概念“型” 和“值” 的概念型（Type） 对某一类数据的结构和属性的说明值（Value） 是型的一个具体赋值模式（Sche
转载
2023-06-01 17:43:53
442阅读
Oracle数据库表恢复模式 此方式将根据按照表模式备份的数据进行恢复。 A. 恢复备份数据的全部内容 若从本地文件恢复，使用如下命令： imp icdmain/icd fromuser=icdmain touser=icdmain rows=y indexes=n
commit=y buffer=65536 feedback=100000 ignore=n volsize=0
f
转载
2023-11-20 11:53:03
94阅读
步骤5：设置Cloudera Manager数据库Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本。该脚本可以：创建Cloudera Manager Server数据库配置文件。（MariaDB，MySQL和PostgreSQL）为Cloudera Manager Server创建和配置数据库以供使用。（MariaDB，MySQL和PostgreSQL）为Cl
转载
2023-07-29 19:34:35
190阅读
CDH Hive是一个常用的大数据分析工具，用于对大规模数据进行查询和分析。在使用CDH Hive时，我们经常会遇到需要迁移元数据库的情况。本文将介绍如何迁移CDH Hive的元数据库，并提供示例和详细步骤。
首先，我们来了解一下CDH Hive的元数据库。元数据库是Hive用来存储表、分区、列和其他元数据信息的数据库。元数据库的重要性在于它保存了Hive表的结构和数据信息，方便用户进行查询和分
原创
2024-01-03 11:13:23
215阅读
本章内容为考核部分：20分 请认真学习 还在更新（一）为什么要有数据依赖？李优老师说：若把不相关的数据建立关联，那么可以想象以下例子：学校有10000个学生，三院有3000个学生，若每个学生选课都和校长或系主任名字联系在一起，那么会出现，当校长和系主任换人时，要更改上万次学生信息。最好是只出现一次。数据冗余+更新异常+插入异常+删除异常（二）概念分类 1. 函数依
转载
2023-10-17 07:50:25
55阅读
1.CDH的启动关闭顺序1.1启动顺序第一步:先启动Mysql service mysql start第二步hadoop001再启动Server：/opt/cloudera-manager/cm-5.16.2/etc/init.d/cloudera-scm-server start第三步hadoop001-003再启动Agent:/opt/cloudera-manager/cm-5.16.2/et
转载
2023-12-06 20:16:45
174阅读
1.停止所有服务2.停止Cloudera Management Service服务3.登录CM所在服务器，停止cloudera-s
原创
2023-05-08 14:08:55
607阅读
数据库和数据库实例？数据库是用来存储数据的，数据库实例是用来操作数据的，从操作系统的角度，数据库实例表现为一个进程，对应多个线程，在非集群数据库架构中，数据库与数据库实例存在一 一对应关系，在数据库集群中，可能存在多个数据库实例操作一个数据库情况，即多对一关系。一、MySQL基础架构MySQL 由连接池、SQL 接口、解析器、优化器、缓存、存储引擎等组成，可以分为三层，即MySQL Server&
转载
2023-07-07 15:31:08
252阅读
二、数据访问层这里演示了一个 一对多的例子：两个表：事件表和日志表，事件表 (1: n) 日志表.以下是两个实体类和对应的配置文件。我单独建了一个项目来存放它们，它们不算是数据访问层！数据访问层、业务逻辑层、显示层都要用它。 //--------------------------------------------------------------------------------
