Hadoop学习Hadoop概述及CentOS安装和使用一. Hadoop概述1.HDFS2.MapReduce二.准备工作1.安装虚拟机软件 Vmware Workstation Pro2.安装Linux操作系统（CentOS7.4）下载CentOS镜像文件安装CentOSCentOS配置 Hadoop概述及CentOS安装和使用一. Hadoop概述Hadoop是一个分布式系统基础架构，用户
转载
2024-03-29 21:15:32
33阅读
1：背景
缺省情况下，hadoop的replication为3，3个副本的存放策略为：
第一个block副本放在和client所在的datanode里（如果client不在集群范围内，则这第一个node是随机选取的）。第二个副本放置在与第一个节点不同的机架中的datanode中（随机选择）。 第三个副本放置在与第二
转载
2024-08-24 15:34:42
0阅读
    在网上到处转悠的时候突然看到了Fedora 11 .  突然心血来潮。想起来了na_su （注释：中文名字：苏勇 牛人一个 RCHA CCIE CCSP MSCE oracle 还有的证书我都想不起来了 光看看 CCIE  RHCA 在世界能有多少人有这样的荣誉。） 说过Red linux 5 and fedora 当时没怎么放心上。百度一
原创
2009-05-16 08:27:16
995阅读
1评论
上次学习的是HDFS基于Shell命令行的模式.HDFS JAVA APIHDFS支持JVA的接口，利用JAVA API 中的库来读写HDFS中的文件例子: 使用HadoopURL读取数据 1. java.net.URL打开一个数据输入流inputStream in = null;
try {
in = new URL( "hdfs:namenode/path" ).openStream();
转载
2024-04-06 11:28:42
39阅读
MapReduce目录 &
转载
2024-04-01 09:40:19
204阅读
//
删除电脑里的旧版MYSQL服务]
如果你以前安装过旧版的，那就要看看如何完整从你的系统内删除Mysql在你从电脑里卸载旧的MYSQL数据库服务时首先先在WINDOWS服务里停掉MYSQL的服务再到控制面板里的增加删除程序内进行删除但是你并不能完整的把MYSQL服务删除那么就要在注册表里清除你的MYSQL服务
有
转载
2023-12-26 11:37:31
53阅读
(1)分布式文件系统随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。它是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。而它最主要的特性就是通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁
转载
2024-05-09 20:10:35
44阅读
如何从源码包安装软件？
从源码包安装软件最重要的就是仔细阅读README INSTALL等说明文件
它会告诉你怎样才能成功安装
通常从源码包安装软件的步骤是：
tar jxvf gtk+-2.4.13.tar.bz2 解开源码包
cd gtk+-2.4.13/ 进入源码目录
./configure 似乎在某些
转载
精选
2010-12-26 22:07:29
628阅读
# 安装 MySQL 的体会
MySQL 是一种流行的开源关系型数据库管理系统，广泛用于数据存储和管理。安装 MySQL 的过程虽然不复杂，但其中的一些细节及配置选项可以直接影响到后续的使用体验。本文将分享我在安装 MySQL 过程中的一些体会，并提供必要的代码示例和图示，帮助大家更好地了解整个流程。
## 安装流程
在安装 MySQL 之前，首先需要明确几个前置条件，例如操作系统的版本、硬
原创
2024-10-14 07:08:19
3阅读
在这篇文章中，我会跟大家分享我在安装 Python 时的一些体会和经验。这不仅仅是一个安装 Python 的过程，更是一个整体的环境搭建体验。我们将会从准备环境开始，一步步走到最终的应用扩展。我会尽量用简单直接的语言来讲述这个过程，希望对你们的安装过程有所帮助。
## 环境准备
我们首先需要准备一些前置依赖。这里有个版本兼容性矩阵，可以帮助你更清楚哪些版本是兼容的：
| 依赖项 |
1.容易错误有以下几点： 1.先在一台机器上把所有的配置文件都改好， 然后再用scp命令，传到其他机器上，以此构成集群。不要每个机器上面改，麻烦不说，还很容易漏改或者错改。 2.必须确保namenode可以无密码ssh到datanode，datanode也可以无密码ssh到namenode。 这是集群间通信和hadoop集群正常运行的基础。 3.不要小瞧了
转载
2024-09-14 10:26:45
28阅读
关于HDFS使用的一些心得 文章目录关于HDFS使用的一些心得写在前面:1.HDFS存储多目录2.集群数据均衡3. LZO创建索引4.基准测试5.Hadoop参数调优 写在前面: 在公司做大数据方面工作也有一段时间了，抽时间整理一下遇到的问题,和一些比较好的优化手段。1.HDFS存储多目录1.1生产服务器磁盘情况1.2在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。 H
转载
2023-10-15 15:48:50
655阅读
hive学习之基本概念与安装hive基本概念什么是hiveHive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。hive的本质将HQL转化成MapReduce程序（1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实现是MapReduce（3）执行程序运行在Yar
转载
2024-01-07 16:17:58
56阅读
HadoopHDFS：分布式文件存储系统核心组件：一、NameNode: 整个集群的核心，NameNode本地磁盘中管理着文件系统的镜像文件及编辑日志，在内存中管理着文件系统元数据信息（主要是BlockMap与NameSpace）磁盘文件核心1： 文件系统镜像文件（FsImage） 磁盘中存放着的文件元数据信息，可以看做持久化后的HDFS目录树。【元数据信息[FileName、副本数、副本所在位置
转载
2023-08-18 22:53:03
71阅读
Centos 7 上配置 HDFS（单机版） 一、配置Java环境二、配置Hadoop前提是配置好java 环境；1、配置ssh免密登录（1）ssh-keygen一直回车（2）将生成的密钥发送到本机地址ssh-copy-id localhost（注意：若报错找不到命令则需要安装openssh-clients执行：yum -y install openssh-clients 即可）（3）测试免登录是
转载
2024-03-27 23:18:28
258阅读
HDFS2.2.1 Hadoop相关概念Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS具有高容错性的特点，并且设计用来部署在低廉的硬件上，而且它提供高吞吐量来访问
转载
2024-08-11 13:08:10
143阅读
一、HttpFS的简介在项目中使用到 HDFS 作为存储，为了在不同的环境下都可以使用 HDFS 上的数据，我们使用采用了 HttpFS 服务，这样不需要部署 Hadoop 的环境，就可以访问到了，无论是 Windows 还是 Linux 。为什么不用 WebHDFS 呢？因为这个我们的集群 NameNode 是 HA 的，所以在访问文件前，需要确认 Active 的 NameNode，而且比较不
转载
2024-04-20 21:17:00
100阅读
家庭影院.液晶电视.常见接口介绍(一)草木瓜 20080501转载整理自网络一、TV 接口TV接口又称RF(Radio Frequency)射频输入，这是在电视机上最早出现的接口。TV接口的成像原理是将视频信号(CVBS)和音频信号(Audio)相混合编码后输出，然后在显示设备内部进行一系列分离/ 解码的过程输出成像。由于需要较多步骤进行视频、音视频混合编码，所以会导致信号互相干扰，画质输出质量是
文章目录注意事项Hadoop 和 Hive 整合搭建Hive1. 安装MySQL2. 安装Hive3. 启动Hive4. DataGrip连接hive 注意事项Hive是一款基于Hadoop的数据仓库软件，不管使用何种方式配置Hive Metastore，必须先保证服务器的基础环境正常，Hadoop集群健康可用服务器基础环境集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装Hado
转载
2024-04-08 07:08:22
42阅读
伪分布式：前提第一步：把hadoop安装包放到文件夹里第二部修改三个节点的时间第三步，修改主机名hostnamectl set-hostname hadoop01然后我们开始安装安装目录将安装包解压到对应目录命令：tar xvf hadoopxxxx -C /soft这时打开我们解压的目录会发现已经解压好创建软连接ln -s配置环境变量vi /etc/profileexport HADOOP_HO
转载
2023-07-14 10:49:33
255阅读
