一、Oauth协议实现第三方登录 (一)注册成为开发者 网址：https://connect.qq.com 1.使用QQ账号登录 2.手机QQ授权登录（打开手机QQ，确认登录） 3.登录成功 4.单击应用管理，继续注册流程 1)填写QQ互联开发者信息 2)提示验证邮件已发送至上述邮箱 3)前往邮箱激活 4)注册成功 (二)创建应用、获取appid和appkey 应用接入前，需要先申请appid和a
转载
2024-05-24 14:13:14
39阅读
Client核心代码有DistributedFileSystem和DFSClient。DistributedFileSystem扩展子FileSystem，在为客户端提供一个文件系统接口实现。其内部使用DFSClient完成各类文件操作。DFSClient使用ClientProtocol与NameNode通信，完成文件元信息操作。并通过Socket连接完成与DataNode间的block读写操作。
转载
2024-08-14 13:06:34
33阅读
HDFS shell 命令1、HDFS Shell 命令分类1.1文件系统操作命令（hdfs dfs） 解决文件的添加、删除、查看、移动等操作问题 1.2文件系统管理命令（hdfs dfsadmin） 解决数据节点详情查看、文件目录配额、安全模式等管理操作问题2、hdfs dfs 常用命令hdfs dfs 与 hadoop fs 对等，只是一个先后推荐使用的区别，目前推荐使用 hdfs dfs。
转载
2024-09-16 19:08:38
328阅读
十七、安装Spark21.安装添加Spark2服务 需要重启HDFS、YARN、MapReduce2、Hive、HBase等相关服务2.取消kerberos对页面的认证在CONFIGS->Advanced spark2-env下的content里，将下面内容加#注释掉export SPARK_HISTORY_OPTS='-Dspark.ui.filters=org.apache.hadoop
HDFS组成角色及其功能 1. Client：客户端 2. NameNode (NN)：元数据节点 管理文件系统的Namespace元数据 处理客户端读写请求 3. DataNode (DN)：数据节点 数据存储节点，保存和检索Block 执行数据读写操作 4. Secondary NameNode (SNN)：从元数据节点 合并NameNode的edits到fsimage文
转载
2024-03-23 17:36:39
56阅读
一、介绍Hadoop生态圈相关组件1.HDFSHDFS:分布式文件系统，隐藏集群细节，可以看做一块儿超大硬盘 主：namenode,secondarynamenode 从：datanode
转载
2024-09-25 07:05:38
7阅读
今日内容:1) HDFS基本的概念 架构中相关的机制 -- 理解2) HDFS的shell命令的操作: --唯一的操作 3) HDFS的基本原理: 4) hdfs的工作机制: --- 记忆 (能够拿自己的话出来) hdfs的写数据的流程 hdfs的读数据的流程5) hdfs的元数据辅助管理机制 --- 记忆1) hdfs的基本概念: HDFS是 分布式文件存储系统一般有多台能够存储数据
1.文档编写目的对于多租户共同使用的Hadoop平台，HDFS配额设置非常重要。如果没有配额管理，很容易将所有空间用完导致其他租户无法正常存取数据，严重的可能导致HDFS集群宕掉。HDFS的配额是针对目录而不是租户(用户)，所以在管理上最好能让租户只能操作某一类目录，然后对这一类目录进行配额设置。接下来Fayson主要介绍如何在Cloudera Manager上对指定HDFS目录设置配额。测试环境
转载
2024-03-20 12:45:20
83阅读
1、困惑：hadoop和hive通过客户机接入到集群生产，客户机是linux系统，那么linux用户和hive角色之间是什么关系呢？或者说，怎么控制linux系统用户可以细粒度访问hive的数据库和表。2、新建linux用户和用户组1)#groupadd hphs;2)#useradd -d /home/hphs/ -m hphs -g hphs -G hadoop指定用户所属的附加组hadoop
转载
2024-05-27 15:02:50
137阅读
译文Hadoop Security在2009年被设计并实现，此后趋于稳定。但是，由于相关文档不足，当出现问题时很难理解并进行debug。Delegation tokens作为一种认证机制，在Hadoop生态系统中被广泛应用。本文在Hadoop的分布式文件系统（HDFS）和密钥管理服务（KMS）基础上介绍Haodop Delegation Tokens，并提供一些基础代码和简单样例。值得注意的是Ha
转载
2024-03-25 16:26:48
116阅读
主要流程如下图所示
8. HDFS主要流程之客户端读流程.png
分为如下几个步骤打开HDFS文件HDFS客户端首先调用DistributedFileSystem.open()方法打开HDFS文件，这个方法在底层会调用DFSClient.open()方法，该方法会返回一个HdfsDataInputStream对象用于读取数据块。HdfsDataInputStream
转载
2024-02-27 17:21:24
28阅读
简介Hadoop分布式文件系统（HDFS）是一个设计用来运行在商业机器上的分布式文件系统。它和已存在的分布式文件系统有很多相似之处。当然，和其他分布式文件系统的区别也是非常明显的。HDFS是高容错的，它设计用来部署在低成本的机器上。HDFS提供高吞吐量访问应用数据，对于拥有大数据集的应用非常适合。HDFS最开始是作为ApacheNutch web搜索引擎工程的基本部件开发的。现在，HDFS是Apa
转载
2024-05-07 19:22:23
239阅读
HDFS客户端操作环境准备根据电脑操作系统将对应的编译后的jar包放到非中文路径下，我的是Linux因此将Linux编译后的jar放到指定目录下/home/lxj/workspace/hadoop-2.7.0配置环境变量，然后使其生效export HADOOP_HOME=/home/lxj/workspace/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/
转载
2024-04-17 12:16:28
41阅读
hadoop伪分布式安装（：linux基本命令、hadoop常用shell命令）大数据简介1什么是大数据？1.1大数据的的特点 ：5VVolume(大量)Variety(多样)Veloctiy(高速)Value(价值密度低)Veracity(真实性)1.2数据存储的单位bit,Byte,KB,MB,GB,TB,PB,EB,ZB,YB,BB,NB,DB1.3 大数据的应用疫情防控核酸检测健康吗行程码
转载
2024-10-05 10:09:26
76阅读
1 HDFS 客户端环境准备1 jar 包准备 1 解压 hadoop-2.7.2.tar.gz 到非中文目录 2 进入 share 文件夹，查找所有 jar 包， 并把 jar 包拷贝到_lib 文件夹下 3 在全部 jar 包中查找 sources.jar， 并剪切到_source 文件夹 4 在全部 jar 包中查找 tests.jar， 并剪切到_test 文件夹2 Eclipse
客户端设置Foxmail7pop3设置第一步:打开foxmail,点击菜单栏里的"工具",选择"帐号管理",点击左下角"新建".第二步:填入完整的邮箱地址:test@whut.edu.cn.第三步:选择接收服务器类型:pop3,填写密码和帐号描述,点击下一步.第四步:填写邮箱帐号:test@whut.edu.cn选择接收服务器类型:pop3;接收邮件服务器:pop.whut.edu.cn不勾选"使
转载
2024-07-21 13:42:03
26阅读
目的本文档可以作为使用Hadoop分布式文件系统用户的起点，无论是将HDFS应用在一个Hadoop集群中还是作为一个单独的分布式文件系统使用。HDFS被设计成可以马上在许多环境中工作起来，那么一些HDFS的运行知识肯定能大大地帮助你对一个集群做配置改进和诊断。概览HDFS是Hadoop应用的主要分布式存储。一个HDFS集群由一个管理文件系统元数据的NameNode，和存储实际数据的一些Datano
转载
2024-05-23 21:38:05
93阅读
随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性，HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本，这也使得存储利用率仅为1/3，每TB数据都需要占用3TB的存储空间。随着数据量的增长，复制的代价也变得越来越明显：传统的3份复制相当于增加了200%的存储开销，给存储空间和网络带宽带来了很大的压力。因此，在保证可靠性的前提下如何提高
转载
2024-04-19 17:54:09
80阅读
Hadoop 3.1.3学习笔记1本部分主要分析EC策略下的条带化读取、写入过程，包括StripeReader、StripeWriter、StripedBlockReader、StripedBlockWriter、StripedBlockUtil部分源码。另外，整个过程还涉及EC策略下的数据重构，包括StripedReconstruction、StripedBlockReconstruction、
转载
2024-06-24 07:23:57
26阅读
1.使用Idea创建maven项目,并添加
HDFS依赖<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.0.0</version>
转载
2024-03-15 14:01:10
34阅读
