Centos 7 上配置 HDFS（单机版） 一、配置Java环境二、配置Hadoop前提是配置好java 环境；1、配置ssh免密登录（1）ssh-keygen一直回车（2）将生成的密钥发送到本机地址ssh-copy-id localhost（注意：若报错找不到命令则需要安装openssh-clients执行：yum -y install openssh-clients 即可）（3）测试免登录是
转载
2024-03-27 23:18:28
258阅读
实验一：熟悉常用的Linux操作和Hadoop操作一、实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。二、实验平台 操作系统：Linux（建议Ubuntu16.04）； Hadoop版本：2.7.1。三、实验步骤（一）熟悉常用的Linux操作 cd命令：切换目录（1）
1.打开电脑之后如下图：2.按上图的方法，右击此上图圈中的内容如下图：3.点击其中的选项之后得到。弹出如下的候选框：4.点击上图中红框圈住的信息，之后选择edit选项，弹出一个候选框。如下图：5.候选框中的Connect automatically是未勾选的需要将其勾选上，之后点击IPv4的页选，之后点击Add按键，将其中的Address,Netmask，Gateway按相应编辑中的虚拟网络编辑器
转载
2024-09-14 08:30:17
46阅读
1、环境准备需要环境：PC-1 Suse Linux 9 10.192.1.1PC-2 Suse Linux 9
转载
2024-08-20 16:32:47
85阅读
根据前面一篇Linux系统安装的文章，我们使用的是乌班图系统，所以下面的Hadoop就是在Ubuntu 14.04版本下安装的。安装： Hadoop 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/h
转载
2024-03-19 13:00:46
105阅读
目录1. 什么是docker2. docker的核心组件3. docker的安装3.1 安装的先决条件3.2.1 ubuntu安装docker3.2.2 CentOS安装docker3.3 配置镜像加速器4. 镜像常用操作4.1 搜索镜像4.3 查看宿主机中的镜像4.3 删除镜像5. 容器常用命令5.1 运行容器5.2 使用容器5.4 容器的退出5.5 容器的启动与停止5.6 复制文件5.7 进入
转载
2023-08-18 14:41:12
38阅读
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。 注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统）
安装前的准备： 1).安装PieTTY远程桌面连接工具&nbs
转载
2024-09-20 07:09:27
47阅读
HDFS简介1，HDFS概念： 分布式文件系统（1）文件系统： 存储文件，目录树定位文件 hdfs://master:9000/soft/hadoop-2.6.5-centos-6.8.tar.gz （2）分布式： 服务器集群，各个服务器都有各自清晰的角色定位 功能： 解决海量数据的存储问题2，设计思路（1）分而治之 大文件切分成小文件，多台服务器共同管理一个文件 小文件做备份，分散存储到不同的服
转载
2024-05-09 12:12:54
60阅读
① 安装前提安装Jupyter Notebook的前提：需要安装了Python（3.3版本及以上，或2.7版本）② 使用Anaconda安装如果你是小白， 那么建议你通过安装Anaconda 来解决Jupyter Notebook的安装问题， 因为Anaconda已经自动 为你安装了Jupter Notebook及其他工具， 还有python中超过180个科学包及其依赖项。③ 使用pip命令安装如
8.15 Linux su命令：用户间切换（包含su和su -的区别）su 是最简单的用户切换命令，通过该命令可以实现任何身份的切换，包括从普通用户切换为 root 用户、从 root 用户切换为普通用户以及普通用户之间的切换。普通用户之间切换以及普通用户切换至 root 用户，都需要知晓对方的密码，只有正确输入密码，才能实现切换；从 root 用户切换至其他用户，无需知晓对方密码，直接可切换成功
转载
2024-05-04 19:04:24
115阅读
hadoop伪分布模式：hadoop的守护进程在同一台服务器上（具体定义请自行查询）前提：请在阅读《linux 安装hadoop 的四大运行模式——本地模式》的基础上进行阅读1、将本地模式的配置文件复制出来 建立软连接 ，便于后续方便使用运行命令：$>cp -r hadoop/ local (-r 代表文件的递归复制)删除hadoop文
转载
2024-05-27 23:16:03
172阅读
1、打开VirBox：2、启动linuxx虚拟机：3、输入用户名：4、点击Application中的Terminals这进入CMD命令（也可以使用快捷键：打开终端，快捷键为ctrl+alt+T）：特别提示：如果以下操作出现（Permission denied)，不要慌，意思是你没有操作权限，可以切换到root 用户下使用超级管理员命令；或者每次使用命令是加上 sudo ；比如 $ sudo5、输入
转载
2024-05-10 20:10:52
86阅读
文章目录Hbase 安装配置一，测试Hadoop 安装1，ssh 免密测试2，jps 查看进程二，安装Hbase1，拷贝Hbase-2.5.0 到 /opt 目录下三，配置环境1，配置环境变量, /etc/profile 目录2，配置Hbase 配置文件 (Hbase的安装目录下的 conf目录)3，Hbase的三种模式配置修改4，配置slave1 和 slave2节点四，Hbase的服务启动与
转载
2023-09-11 21:38:42
68阅读
HDFS2.2.1 Hadoop相关概念Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS具有高容错性的特点，并且设计用来部署在低廉的硬件上，而且它提供高吞吐量来访问
转载
2024-08-11 13:08:10
143阅读
家庭影院.液晶电视.常见接口介绍(一)草木瓜 20080501转载整理自网络一、TV 接口TV接口又称RF(Radio Frequency)射频输入，这是在电视机上最早出现的接口。TV接口的成像原理是将视频信号(CVBS)和音频信号(Audio)相混合编码后输出，然后在显示设备内部进行一系列分离/ 解码的过程输出成像。由于需要较多步骤进行视频、音视频混合编码，所以会导致信号互相干扰，画质输出质量是
文章目录注意事项Hadoop 和 Hive 整合搭建Hive1. 安装MySQL2. 安装Hive3. 启动Hive4. DataGrip连接hive 注意事项Hive是一款基于Hadoop的数据仓库软件，不管使用何种方式配置Hive Metastore，必须先保证服务器的基础环境正常，Hadoop集群健康可用服务器基础环境集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装Hado
转载
2024-04-08 07:08:22
42阅读
伪分布式：前提第一步：把hadoop安装包放到文件夹里第二部修改三个节点的时间第三步，修改主机名hostnamectl set-hostname hadoop01然后我们开始安装安装目录将安装包解压到对应目录命令：tar xvf hadoopxxxx -C /soft这时打开我们解压的目录会发现已经解压好创建软连接ln -s配置环境变量vi /etc/profileexport HADOOP_HO
转载
2023-07-14 10:49:33
255阅读
1.
HDFS安装1.配置
hdfs的NameNode（core-site.xml)vi hadoop-2.7.2/etc/hadoop/core-site.xml<configuration>
<property>
<name>fs.defaultFS</name>
<value>
hdfs://kafka1:9000</val
转载
2023-11-08 23:06:01
405阅读
HDFS是一个分布式文件系统，安装完成之后使用起来类似于本地文件系统，但是它是一个网络文件系统，所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的(本地文件系统的方式是基于系统调用的，当然也有类似NFS这样的网络文件系统可以使用和本地文件系统相同的访问方式，那是因为已经在内核中安装了NFS，而HDFS只是一个应用层的服务程序罢了)。但是这些命令看上去还是和常用的shell命令很类似的
转载
2024-04-17 09:46:47
32阅读
一、HttpFS的简介在项目中使用到 HDFS 作为存储，为了在不同的环境下都可以使用 HDFS 上的数据，我们使用采用了 HttpFS 服务，这样不需要部署 Hadoop 的环境，就可以访问到了，无论是 Windows 还是 Linux 。为什么不用 WebHDFS 呢？因为这个我们的集群 NameNode 是 HA 的，所以在访问文件前，需要确认 Active 的 NameNode，而且比较不
转载
2024-04-20 21:17:00
100阅读
