HBase/Hadoop学习笔记 学习目标： 至少掌握五点：1. 深入理解HTable，掌握如何结合业务涉及高性能的HTable。2. 掌握与HBase的交互，通过HBase Shell命令及Java API进行数据的增删改查。3. 掌
转载
2024-08-02 10:28:14
71阅读
一、Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础框架 2、主要解决，海量数据的存储和海量数据的分析计算问题 3、广义上来说，Hadoop通常是指一个更广泛的概念–hadoop生态圈二、Hadoop发展历史1、 Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整
转载
2023-07-12 15:00:32
156阅读
零 ，基础知识 ：1 ，目的 ：用 emr 处理 s3 中的数据。2 ，适用场景 ：适合 ： 学习使用为什么这篇文章的内容只适合学习用 ： 没有详细配置为什么不适合生产，我们还要看这篇文章呢 ： 因为这篇文章讲解的是开发流程，先懂流程，才能看以后的细节。3 ，5 大步骤 ：步骤 1：设置先决条件步骤 2：启动集群步骤 3：允许 SSH 访问步骤 4：运行 Hive 脚本以处理数据步骤 5：清理资源
转载
2024-01-14 16:33:06
72阅读
vim是什么？vim是Linux环境下一款功能强大、高度可定制的文本编辑工具，类似于Windows下面的source insight、sublime、notepad。VI是visual interface的缩写，即可视化接口。vim 即 vi IMproved，在 vi 的基础上做了很多改进，如：增加了多级撤销、多窗口操作、崩溃后也可以恢复、增加了稳定性、关键字自动补全、上下文自动补全等功能。vi
转载
2023-09-22 21:45:17
115阅读
简介 本向导简述了YARN资源管理器的HA，并详述了如何配置并使用该特性。RM负责追踪集群中的资源，并调度应用程序（如MapReduce作业）。Hadoop2.4以前，RM是YARN集群中的单点故障。HA特性以Active/Standby RM对的形式对集群添加了冗余，从而消除了这种单点故障。 架构 RM故障恢复RM HA是通过Active/S
转载
2023-07-16 22:26:59
809阅读
GPU技术市场战火图形处理器（英语：graphics processing unit，缩写：GPU），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。 GPU使显卡减少了对CPU的依赖，并进行部分原本CPU的工作，尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L（几何转换
# 深入了解Hadoop中的Pig
在大数据处理的广袤天地里，Hadoop如同一盏明灯，为数据分析提供了强大的支持。而Pig，作为Hadoop生态系统的一部分，以其灵活性和易用性吸引了众多开发者与数据分析师的关注。本文将探讨Pig的含义、功能以及实际应用，并提供相关代码示例。
## 什么是Pig？
Apache Pig是一个用于大规模数据处理的高级平台，主要用于处理和分析存储在Hadoop分
原创
2024-10-14 04:53:58
323阅读
# 在Hadoop中理解“info”的含义
## 一、前言
Hadoop 是一个用于分布式存储和处理大数据的框架，广泛应用于数据分析、机器学习和大规模数据处理等领域。在使用 Hadoop 的过程中，了解其各个组件及其功能是非常重要的。而信息（info）通常与 Hadoop 的运行状态和资源管理密切相关。本文将通过详细步骤来帮助你理解在 Hadoop 中 info 的具体含义，以及如何使用 Ha
0. 项目背景基于阿里云ECS云服务器进行搭建私有的大数据平台，采用Apache Hadoop生态，为大数据提供存储及处理。 1. 购买ECS云服务器实例在这里，因为实验需要3个节点，所以我们购买3台ECS实例。 2. 远程登录服务器，进行基础环境的配置。# 工欲善其事，必先利其器# 前提准备 # 安装系统命令yum -y install wget vim ntpdate net-tools
转载
2024-09-06 00:05:07
74阅读
Hadoop2.X MR作业流情景概述:作为HFDS的高层建筑,MR被设计与在大型分布式文件系统之上的离线数据运算,在对一些运算时效性要求不高的场景中更适合于MR作业,MR在ETL流不同阶段可扮演不同的角色,甚至在某些场景下基于MR的链式操作可完成ETL的整个流程.MR概述:Hadoop MR(Mapper Reduce) 是一个软件架构的实现,用户处理大批量的的离线数据作业,运行于大型集群中,硬
转载
2024-01-12 14:57:38
56阅读
JPS（是jdk的工具）：表示查看当前主机有哪些运行的进程
NameNode ：表示主节点
DataNode：表示数据节点
SecondaryNameNode ：表示次要名称节点
--节点表示：一台机器
进程是运行在机器上的，一个软件可以有多个进程（分布式软件：Hadoop）
HDFS只是Hadoop的一部分，Hadoop还有MR、yarn
HDFS是分布式软件系统：将文件自动分布在三台机器上（副
转载
2024-01-16 17:57:04
235阅读
Hadoop狭义的Hadoop VS 广义的Hadoop广义的Hadoop：指的是Hadoop生态系统，Hadoop生态系统是一个很庞大的概念，hadoop是其中最重要最基础的一个部分，生态系统中每一子系统只解决某一个特定的问题域（甚至可能更窄），不搞统一型的全能系统，而是小而精的多个小系统；Hive:数据仓库R:数据分析Mahout:机器学习库pig：脚本语言，跟Hive类似Oozie:工作流引
转载
2023-09-20 20:17:50
140阅读
HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个
转载
2023-07-20 23:27:12
408阅读
● Java中, System是什么，out和in是什么?在Java编程中，我们常常用System.out.println()方法来输出字符串，也许我们都已经猜到println()是方法名，但System是什么，out又是什么呢？ 这里就涉及用到一个static关键字。如下图，其实System是java.lang里面的一个类。 out是java.io.PrintStream类的对象。
转载
2023-07-18 12:02:11
352阅读
==和===定义==和===虽然都是关系表达式运算符，但它们的定义是有所不同的：
==:称作相等运算符（Equality Operator），它用来检测两个操作是否相等，这里的相等的定义非常宽松，可以允许类型的转换
===:称作严格相等运算符(Strict Equality)，也被称之为恒等运算符(Identity Operator)或全等运算符，它用来检测两个操作数是否严格相等== 和 ===运
转载
2023-10-07 22:32:43
282阅读
近期，打算hbase建表用snappy压缩时，碰到一些hadoop本地库的问题。事实上这些问题是一直存在的，仅仅是不影响正常使用，就没有引起重视。这次希望彻底解决下面问题：问题一：运行start-dfs.sh时出现下面日志
xxxx: Java HotSpot(TM) 64-Bit Server VM warning: You have loa
转载
2024-08-30 14:27:32
31阅读
数学常数ee的含义e的应用 e的含义e是一个重要的常数，但是它的直观含义却不像π那么明了。我们都知道，圆的周长与直径之比是一个常数，这个常数被称为圆周率，
记作π=3.14159…，可是如果我问你，e代表了什么，你能回答吗？
不妨先来看看 维基百科 是怎么说的：“e是自然对数的底数。”但是，你去看“ 自然对数 ”这个条目，得到的解释却是：
“自然对数是以e为底的对数函数，e是一个无理数，约等
转载
2023-09-01 13:21:34
1149阅读
问题一：请问 java中"% "与 "/ "之间的区别?答：在java中，%是求模运算符，/是除运算符，虽然两者都是双目运算符，跟他们的区别主要就是，%是求余运算，/是普通的除号。问题二：在java中=和==的区别？答："="是赋值操作符，它的操作是把符号右边的变量或者常量或者对象的值度赋值给符号左边的变量。"=="是算数运算符中的一个操作符，主要用在判断中，如if(a == b){...}这条语
转载
2023-08-05 09:06:46
372阅读
hadoop 使用HDFS来落地存储hbase的数据, 我们可以通过以下命令来查看HDFS的空间占用大小.hadoop fsck hadoop fs -dushadoop fs -count -q 上述命令在hdfs里面可能存在权限问题, 可以前面加上sudo -u hdfs 来运行以上命令首先让我们看看fsck和fs -dus区别hadoop fsckhadoop fsck /path/to/
转载
2023-10-21 09:33:43
114阅读
背景介绍
越来越多的用户关注安全问题，都在寻找一种有效的，方便的加密方式。hadoop提供了几种不同形式的加密，最底层的加密，加密所有节点数据，有效地保护了数据，但是却缺乏更细粒度的加密；
kms 透明加密可以做到更细粒度的加密； 加密可以在不同的层级进行，包括软件/软件堆栈，选择不同的加密层级各有优缺点 应用程序级加
转载
2023-12-12 16:42:50
19阅读
