文章目录伪分布安装步骤（1）开启sudo（2）修改主机名（3）配置静态IP（4）配置主机与IP的映射（5）安装java和hadoop（6）修改配置文件（可参照官网）（7）设置免密登录（ssh）（8）启动hdfs 伪分布安装步骤（1）开启sudo 切换到root用户
编辑/etc/sudoers 复制一次root权限（root ALL=(ALL) ALL）（ 注意：是复制，
1、免密码登录的原理和配置ssh不对称加密算法（加密和解密是两个文件）（对称加密： 加密和解密文件是同一个） （1）公钥–锁：给出去 给其他机器 （2）私钥–钥匙：自己留着，解密 step1:ssh-keygen -t rsa(3次回车) step2:ssh-copy-id -i ~/.ssh/id_rsa.pub root@hsiehchou121(自己也要拷贝给自己)2、Hadoop安
转载
2024-03-12 16:46:29
158阅读
为什么要用集群在企业中主要使用集群在学习的过程中使用伪分布式即可，就是单点HDFS中的NNSNNDNYARN 的RM 老大NM每个组件只有一个即可如果nn挂了就不能再继续对外提供服务，例如客户端请求的读写，put get那些。为了解决这个问题，企业一般都会准备两台nn，对外提供服务的只有一台，处于active状态，另一台是standby状态，进行实时备份随时准备从standby状态切换到activ
一、简介百度百科： Redis是一个key-value存储系统（官网：http://redis.io），是一个分布式缓存数据库。常用五种数据类型：String、hash、list、set、sorted_set二、Redis基本操作默认为0号数据库，默认最多有15号数据库，切换数据库：select DBId
默认端口号：6379
默认登录命令：redis_cli
默认没有密码，如需要则开启
转载
2023-08-29 17:51:18
567阅读
一.io.lettuce.core.RedisCommandExecutionException: ERR Client sent AUTH, but no password is set一、报错原因：下载安装的redis默认是没有密码的。所以在项目中配置文件中，连接redis，配置了密码。就会报错。二、解决：给redis设置密码1、命令窗口，进入到redis所在的目录下2、然后输入 redis-
转载
2023-05-29 10:44:45
2121阅读
HUE版本：3.12.0HDP版本：2.6.4前言通过浏览器访问ip:8888登陆HUE界面，首次登陆会提示你创建用户，这里使用账号/密码：hue/hue登陆。一、WebHDFS与HttpFS在配置HUE访问NameNode HA之前，我们先来了解一下WebHDFS与HttpFS：两者都是基于REST的HDFS API，使得一个集群外的host可以不用安装HADOOP和JAVA环境就可以对集群内的
转载
2024-03-24 19:32:18
168阅读
完全分布式搭建的注意点完全分布式集群的搭建
1.进程规划
原则： ①核心进程尽量分散
②同质进程尽量分散
2.集群间复制
①scp
scp -r 源文件的用户名@主机名：源文件路径 目标文件的用户名@主机名：目标文件路径
特点： 全量复制
②rsync
rsync -rvlt 源文件路径 目标文件的用户名@主机名：目标文件路径
转载
2023-12-19 23:55:59
360阅读
一、概述sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。核心的功能有两个：导入、迁入导出、迁出导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并
Redis 一般在生产环境中，大家都不使用密码，为了确保安全，都是在防火墙上对redis端口做IP白名单的我是个技术控，我非得了解一下密码这回事【虽然以后不会用到，呵呵】好了，废话不多说，简单介绍一下1.修改配置文件 将这行 # requirepass foobared去掉注释，foobared改为自己的密码，我在这里改为1234562.kill掉redis进程【记得先备份】，重启re
转载
2023-05-25 17:39:11
473阅读
HDFS进阶应用 配置NFS 网关• NFS 网关用途 – 1.用户可以通过操作系统兼容的本地NFSv3客户端来阅览HDFS文件系统 – 2.用户可以从HDFS文件系统下载文档到本地文件系统 – 3.用户可以通过挂载点直接流化数据。支持文件附加,但是不支持随机写
转载
2024-08-21 13:00:35
39阅读
这一次开始学习HBase数据库。我用的是VMWare + ubuntu16.04 +Hbase1.1.5 +hadoop2.6.0的组合。经过亲自安装验证，版本间没有发生冲突，可以进行学习和开发。具体的安装过程参照了厦门大学数据实验室的安装教程，个人感觉这里面的安装步骤非常详细，非常少适合新人上手，只要懂得基本的java和linux基础即可。下面是厦大数据实验室的链接：http://dblab.x
转载
2023-09-02 18:23:27
141阅读
HBASE基本介绍和安装配置基本介绍1.HBASE的逻辑结构2.HBASE的物理结构 真正在存储的过程中是按照如下的格式存储的： 图片中张三的信息被存为三条内容，第四条内容为对“phone”进行修改，其时间戳和增加信息时的时间戳不同。 使用时需要把Windows和Linux的系统时间进行同步3.数据模型3.1 Name Space 命名空间，类似于关系数据库中的database的概念，每个命名空间
转载
2023-11-17 10:53:29
128阅读
hadoop包：链接:https://pan.baidu.com/s/1bPlkKnYLXsfOjMtcK1Nq8g 密码:nzqg demo地址：https://github.com/chenjy512/bigdata_study/tree/master/hdfs-clientAPI一、HDFS操作文件方式HDFS操作文件方式有两种： 1.shell命令操作服务器本地文件至HDFS中 2.客户端
转载
2023-11-15 19:43:33
486阅读
文章目录1. 下载2. 安装2.1 单机2.2 集群3. 冒烟测试3.1 安装3.2 安装pip3.3 安装zkpython3.4 使用 Zookeeper 3.6.11. 下载官网下载2. 安装2.1 单机默认conf下面有一个zoo_sample.cfg的配置文件，也可自己创建。 在conf下创建zoo.cfg，在安装目录创建data文件夹tickTime=2000
dataDir=/usr
# MySQL查询所有用户名密码
## 简介
MySQL是一个流行的关系型数据库管理系统，广泛应用于Web开发和其他数据驱动的应用程序中。在MySQL中，我们可以使用查询语句来检索数据库中的数据。本文将介绍如何使用MySQL查询所有的用户名和密码，并提供代码示例。
## 准备工作
在开始之前，我们需要确保已经安装了MySQL并且正确配置了连接信息。你可以通过以下步骤安装MySQL：
1.
原创
2023-11-04 04:28:02
214阅读
一、大年夜主动化需求说起对于这个问题，秉承实在用主义的精力，我本来也不会去深究。毕竟，安装的时刻会设置暗码，安装完毕后能经由过程passwd敕令重置暗码，学会这两点后已知足一般的需求已经绰绰有余了。如不雅明白了暗码的生成机制，那么这个主动化需求的难题也就水到渠成了。二、暗码生成理论然则，对于主动化而言，知道以上的两点是不敷的。Linux的主动化安装过程中，设置用户登录暗码这事，肯定不克不及有工资干
目录HBase的安装配置和使用前言（1）小杜出品(海大计科大数据专用版)，请收到者个人使用！！！（2）本教程在目录上要留意，要根据使用者的具体情况去修改！（3）出现“~”的目录大多数要使用安装账户/普通账户目录，但修改“/etc/profile”和“~/.bashrc”目录要使用root账户！（4）慎用root账户，要使用root账户的地方会提示。“source /etc/profile”要安装账
转载
2023-09-01 11:11:44
88阅读
注册账号和登录1. 河南省NCRE考生报名登录地址2. 考生首次登录系统需要注册登录通行证，若考生有通行证账号，可以直接登录。3. 考生也可使用其他账号登录，例如使用“QQ账号”登录。点击“QQ登陆”图标，可根据提示操作，实现登录。4. 点击横栏“网上报名公告”按钮，可查看网上报名公告信息。5. 点击横栏“网上报名须知及流程”按钮，可查看网上报名须知及流程信息。1. 注册通行证转到考生点击“用户注
转载
2024-04-02 11:32:00
312阅读
表单登录让我们来看看基于表单的登录在 Spring Security 中是如何工作的。首先，我们看到如何将用户重定向到登录表单。 该图构建了我们的 SecurityFilterChain 图。首先，用户向未授权的资源/私有发出未经身份验证的请求。Spring Security 的 FilterSecurityInterceptor 通过抛出 AccessDeniedException 表示拒绝未经
转载
2024-08-12 17:05:38
294阅读
HDFS架构详解 HDFS底层架构：1.分布式文件系统：·物理层存储的分布式基于客户机/服务器模式 通常一个分布式文件系统提供多个供用户访问的服务器·通常情况下都会提供备份和容错的功能·通常情况下都基于操作系统的本地文件系统 -ext3，ext4 -NTFS·分布式文件系统优点 1）传统文件系统最
