hadoop HA搭建参考： （本节：用不到YARN 所以可以不用考虑部署YARN部分） Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大的数据，任意的格式甚至非结构化的处理。Hadoop 的限制：Hadoop 只能执行批量处理，并且只以顺序方式访问数据。这意味着必须搜索整个数据集， 即使是最简单的
转载
2024-02-05 19:37:41
32阅读
写在前面：
本篇文章基于linux系统Centos7环境下进行搭建、操作
仅作为学习参考借鉴，欢迎大家交流学习！一、 HDFS安装搭建1.1 关闭虚拟机防火墙在之后的学习、操作中，经常会遇到在宿主机中通过程序去访问虚拟机中的相关软件，但是默认情况下，虚拟机的防火墙是不允许访问，这是需要开启一个一个的端口号，比较麻烦，所以在教学过程中，为了提高教学、学习的效率，直接关闭虚拟机的防火墙。（注意在实际的
转载
2024-06-17 11:03:02
144阅读
一、HDFS 的设计思路 1）思路切分数据，并进行多副本存储； 2）如果文件只以多副本进行存储，而不进行切分，会有什么问题缺点不管文件多大，都存储在一个节点上，在进行数据处理的时候很难进行并行处理，节点可能成为网络瓶颈，很难进行大数据的处理；存储负载很难均衡，每个节点的利用率很低； 二、HDFS 的设计目标Hadoop Distributed File Syste
转载
2024-02-02 17:51:11
32阅读
Mongodb用户授权认证 一般情况下，mongoDB 数据库都要建立认证连接，这就需要用户对数据库创建管理员和用户认证，而对于mongoDB 而言，在创建管理员和用户时，而分配的roles 是决定用户操作数据库权限的关键，mongodb的用户信息是保存在system.users表中的用户授权认证的步骤 1、新建用户赋予权限 2、验证授权 3、关闭数据库 4、配置文件开启认证 5、用认证用户登录
转载
2023-08-04 13:27:19
336阅读
用户管理（创建、授权、删除）一、登录用户管理1、创建登录用户： sp_addlogin loginame, passwd [, defdb] [, deflanguage] [, fullname] [, passwdexp] [, minpwdlen] [, maxfailedlogins] [, auth_mech] 如：创建用户rusky,密码：zxcvbnm，默认数据库testdb,默认语
转载
2023-07-15 17:04:41
361阅读
翻译：毛毛虫通常ArcSDE 读模块/写模块提供了比Geodatabase_SDE 读模块/写模块更好的性能。ArcSDE写模块允许缓冲写入，这会提高装载数据性能，因为它是干净的装载。同时在SDE中可以设置load_only_mode（关闭索引），在转换完成后重新设置为正常模式。通过加长提交事物的间隔可以加快所有涉及到的写模块的转换速度。提交转换是一个很昂贵的操作，因此推荐将事物间隔设置的尽可能大
转载
2024-10-08 12:36:14
25阅读
1 数据处理：将三个“考研成绩”Excel表格处理后存入虚拟机 2.Hadoop：开启HDFS：start-all.sh并且查看进程是否全部开启！3 HBase（可以不用该步骤）开启HBase：start-hbase.sh并且查看进程是否全部开启！ 4. Hive 操作4.1在HIve创建数据库 create database kaoyan;用以存放我们的考研成绩数据表。4.2
转载
2023-08-18 20:40:41
149阅读
一、连接MYSQL。
格式： mysql -h主机地址 -u用户名 －p用户密码
1、连接到本机上的MYSQL。
首先打开DOS窗口，然后进入目录mysql\bin，再键入命令mysql -u root-p，回车后提示你输密码.注意用户名前可以有空格也可以没有空格，但是密码前必须没有空格，否则让你重新输入密码.
如果刚安装好MYSQL，超级用户root是没有密码的，故直接回
转载
2024-06-28 19:55:26
140阅读
MongoDB 数据库的简单使用一、数据库的概述：1.什么是数据库？数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。关系型数据库：Access、mySql、SqlServer、oracle、db2、SQLite等。非关系型数据库: MongoDB、Redis、HBase、CouchDB等。图解SQL与NoSQL的对比：NoSQL中，最小的数据条目，不是行，而是文档。文档就是键
一、数据准备：create table student(
id int ,
s_name varchar(20),
t_id int
);
create table teacher(
id int ,
t_name varchar(20)
);
insert into student values (1,'zhangsan',3) , (2,'lisi',2) , (3,'wangwu',1)
hadoop简介Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用层的故障，从而在计算机集群之上提供高可用性服务，每个计算机都可能容易出现故障。
hadoop的思想之源来源于Google在大数据方面的三篇论文
GFS
转载
2023-09-13 15:29:17
427阅读
最近在学习数据仓库.根据一篇文章一步一步建立一套完整的数据仓库(基于hadoop),先学习了ETL工具kettle这里记录一些使用的情况(踩的坑),供以后回过头来看. 首先,当然是下载kettle工具了...点击下载kettle工具,这里拿最新的版本7.1来举例.下载后,直接解压就可以使用了.但如果想链接hive还是很难受的.公司搭建了一套hadoop的环境,所有我就没有自己搭建环境来测
转载
2023-07-14 16:51:13
110阅读
redis是存储数据变化较快的并且不是总要的数据1、安装：wget http://download.redis.io/releases/redis-5.0.0.tar.gztar -zxvf redis-5.0.0.tar.gzyum install gccyum install gcc-c++make && make installcp src/redis-server /usr
转载
2023-06-04 17:07:44
182阅读
简介Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件 映射为一张数据库表，并提供类 SQL 查询功能。本质是将 SQL 转换为 MapReduce 程序。主要用途：用来做离线数据分析，比直接用 MapReduce 开发效率更高。Hive 利用 HDFS 存储数据，利用 MapReduce 查询分析数据。数据库和数据仓库的区别在于：数据库是面向事务的设计，数据仓库是面向主题
转载
2024-05-21 06:51:10
765阅读
目录PostgreSQL的基本使用登录数据库操作数据库表操作**如何备份PostgreSQL数据库**用户操作PostgreSQL 角色管理控制台常用命令总结 PostgreSQL的基本使用认识PGPG的下载和安装登录#psql -h 服务器 -U 用户名 -d 数据库 -p 端口地址 // -U 是大写
psql -U dbuser -d exampledb -h 127.0.0.1 -p
转载
2024-05-12 14:14:15
1144阅读
# Sybase数据库登录ISQL的项目方案
## 引言
Sybase数据库是一种强大的关系数据库管理系统，广泛用于企业级应用。本文将介绍如何通过ISQL工具登录Sybase数据库，并提供一份项目方案，涵盖登录步骤、代码示例及相关操作的序列图。
## ISQL简介
ISQL（Interactive SQL）是Sybase提供的一种命令行工具，用于执行SQL查询和管理数据库。通过ISQL，用
# Kali如何登录MongoDB数据库
本文将详细介绍如何在Kali Linux系统上登录MongoDB数据库，解决一个具体的问题：如何使用MongoDB进行数据存储与管理。我们将从安装MongoDB开始，逐步引导您完成登录过程，并提供代码示例，以帮助您更好地理解操作。最后，通过一个实例，我们将引导您了解如何对MongoDB进行基本的CRUD（增、删、改、查）操作。
## 1. 安装Mong
Linux系统下操作Oracle数据库Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小微机环境。它是一种高效率的、可靠性好的、适应高吞吐量的数据库方案。一、登录oracle
转载
2023-12-02 23:20:26
96阅读
1. Too many connectionsERROR 1040 (HY000): Too many connections 导致结果：连接数过多，导致连接不上数据库，业务无法正常进行该错误发生在有max_connections个客户连接了mysqld服务器， 应该重启mysqld， 用更大的max_connections变量值#默认连接数
mysql> show variables li
转载
2023-10-23 17:01:13
131阅读
MongoDB简介
MongoDB是一个基于分布式文件存储的NoSQL数据库。由c++语言编写,运行稳定，性能高。旨在为WEB应用提供可扩展的高性能数据存储解决方案专有名词
SQL术语/概念MongoDB术语/概念解释/说明databasedatabase数据库tablecollection数据库表/集合rowdocument数据记录行/文档columnfield数据字段/域index
转载
2024-06-03 09:46:15
14阅读
