Hadoop第一章 大数据的概述1.1 大数据的概念最近几年，IT行业最火的名词中，少不了"大数据"、“人工智能”、“云计算”、“物联网”、"区块链"等等这些名词。针对于**“大数据”**这个名词，现在更是全国老百姓，老少皆知的一个词语。但是什么是大数据，除了IT行业的专业人士外，其他人乃至其他行业的人，除了能说出"数据量大"之外，好像真的不能再更深层次的解释了。那么我们来看看下面几个权威机构给出
# 项目方案: 使用Hadoop查询字数
## 1. 项目背景
在大数据时代，我们经常需要处理大量的文本数据。其中一个常见的需求就是统计文本中的字数。使用Hadoop可以有效地处理大规模的文本数据，并且能够快速地实现字数统计功能。
## 2. 技术选择
在本项目中，我们选择使用Hadoop作为分布式计算框架，并且使用Java作为开发语言。这样可以充分利用Hadoop的分布式计算能力，并且通过J
原创
2023-07-29 06:04:28
53阅读
# Hadoop用户查询项目方案
## 一、项目背景
Hadoop是一种开源软件框架，主要用于处理和存储大数据。然而，在一个复杂的Hadoop集群中，用户管理和权限设置变得尤为重要。因此，如何高效地查询Hadoop用户，了解不同用户的权限及其相关信息，是解决集群管理问题的重要手段。
## 二、项目目标
本项目旨在实现一个用户查询系统，能够快速、准确地获取Hadoop集群中的用户信息，包括用
原创
2024-09-26 08:45:01
34阅读
1.概述 在现实业务当中，存在这样的业务场景，需要实时去查询HDFS上的相关存储数据，普通的查询（如：Hive查询），时延较高。那么，是否存在时延较小的查询组件。在业界目前较为成熟的有Cloudera的Impala，Apache的Drill，Hortonworks的Stinger。本篇博客主要为大家介绍Drill，其他两种方式大家可以自行下去补充。2.Drill Archite
转载
2024-06-11 08:20:01
59阅读
Apache Calcite是面向 Hadoop 新的查询引擎，它提供了标准的 SQL 语言、多种查询优化和连接各种数据源的能力，除此之外，Calcite 还提供了 OLAP 和流处理的查询引擎。正是有了这些诸多特性，Calcite 项目在 Hadoop 中越来越引入注目，并被众多项目集成。Calcite 之前的名称叫做optiq，optiq 起初在 Hive 项目中，为 Hive 提供基于成本模
一、基本操作1、查看Hadoop集群的基本信息打开终端输入start-all.sh启动所有服务 浏览器地址栏输入192.168.1.10：50070 浏览器地址栏输入192.168.1.10：8088 浏览器地址栏输入192.168.1.10：80422、上传文件到HDFS目录Hadoop中有3个核心组件：分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上分布式运算编程框架：MA
转载
2023-12-29 23:45:02
14阅读
yarn logs -applicationId application_1614159911150_19283
转载
2023-05-22 13:27:28
95阅读
Hadoop是一个分布式海量数据计算的伟大框架。但是，hadoop并不是万能的。比如，以下场景就不适合用hadoop： 1、低延迟数据访问需要实时查询并在毫秒级内进行低延时访问数据就不适合用hadoop。Hadoop并不适用于数据库。数据库的索引记录可降低延时的时间，提高响应的速度。但是，如果你在数据库这方面确实有实时查询的需求，可以尝试一下HBase，这是一个适合随机访问和实时读写的列
转载
2023-08-02 21:16:23
51阅读
查看Hadoop的版本号 hadoop version
转载
2024-01-26 20:51:06
48阅读
正在纽约进行的大数据技术会议Strata Conference + Hadoop World传来消息，Cloudera发布了实时查询开源项目Impala 1.0 beta版，称比原来基于MapReduce的Hive SQL查询速度提升3～90倍（详情可以参考此文中的“How much faster are Impala queries than Hive ones, really?”部分），而
转载
2024-10-12 11:28:43
17阅读
4.搭建zookeeper集群根据配置的路径新建zkdata，zkdatalog目录。然后到zkdata目录中可以touch新建一个文件myid，也可以直接echo写入为1，另外slave1，salve2分别对应2，3。编辑5.分发解压后的java，/etc/profile,zookeeper修改myid为2，36.启动zookeeper查看状态vim core-site.xmlvim hdfs-
Hadoop：3.3.3Mysql：5.7.26Hive：2.3.9一、Hive是什么是一个基于SQL的Hadoop查询引擎是建立在Hadoop上的 “ 数据仓储 ” 框架Hive 提供自己的查询语言 HQL，支持许多常见的SQL语句，包括数据定义语句（DDL）、数据操作语句（DMS）和数据检索查询（SELECT）还支持集成用户定义函数，这些函数可以由Java或Hadoop Streaming支持
转载
2023-08-04 11:11:59
54阅读
在成功启动HDFS集群之后，我们就该考虑如何使用HDFS了，这里我们分两块来讲，先说查看HDFS集群状态和常用命令介绍。再讲一下HDFS的工作机制。一、查看整个HDFS集群状态。我们有两个办法可以查看。1.使用命令行：hdfs dfsadmin –report效果如图：2.Web控制台，打开浏览器输入：http://namenodeIP:50070/效果如图：二、常用命令介绍:1.查看HDFS
转载
2023-08-17 10:32:02
105阅读
Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Hadoop的优势(4高)1)高可靠性: Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。2)高扩展性:在集群间分配任务数据，可方便的扩展数以千计的节点。3)高效性:在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理4
转载
2024-01-10 22:12:12
43阅读
一、hadoop、Storm该选哪一个？为了区别hadoop和Storm，该部分将回答如下问题： 1.hadoop、Storm各是什么运算 2.Storm为什么被称之为流式计算系统 3.hadoop适合什么场景，什么情况下使用hadoop 4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写
转载
2024-07-22 17:31:46
29阅读
正在纽约进行的大数据技术会议Strata Conference + Hadoop World传来消息，Cloudera发布了实时查询开源项目Impala 1.0 beta版，称比原来基于MapReduce的Hive SQL查询速度提升3～90倍（详情可以参考此文中的“How much faster are Impala queries than Hive ones, really?”部分），而且更
转载
2024-08-02 11:36:56
46阅读
笔记
Hadoop
是一个适合于海量数据的分布式存储和分布式计算的框架。
两大核心
HDFS(hadoop distributed file system)
分布式存储
MapReduce
分布式计算
Hadoop的访问方式
WebGUI
50070–>查看hdfs数据，以及查看namenode，datanode健康状况
8088–>可以查看
转载
2024-04-30 13:04:03
109阅读
首先最最重要的写在最前面，也是我觉得个人踩得最深的坑，刚接触hadoop的人，缺少的认识：
hadoop的输入输出，都是从hdfs读取和写入的，那么比如运行hadoop的word count例子的时候，
网上各种大坑教程中完全都没有提到要先自己准备几个input文件，文本文档随便打几个字就好，并且把文件上传到hdfs系统中：这么做的原因在理解了hdfs后很显然了--hadoop的输入
转载
2023-07-24 10:23:13
60阅读
文章目录hive、hadoop使用hive常用命令进入hive、执行hive命令查看表结构创建表建表语句内表、外表(EXTERNAL)：分区(PARTITIONED)：行分割符(ROW FORMAT DELIMITED FIELDS TERMINATED BY)数据格式存储位置(LOCATION)建临时表删除表仅删除表中数据，保留表结构(truncate)删除表结构(drop)删除某个分区的数据
转载
2023-08-18 19:47:07
199阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 Hadoop集群测试通过UI界面查看Hadoop运行状态一、hadoop2和hadoop3端口区别表2、查看HDFS集群状态查看YARN集群状态Hadoop集群初体验 —— 词频统计1、启动Hadoop集群2、在虚拟机上准备文件3、文件上传到HDFS指定目录4、运行词频统计程序的jar包5、在HDFS集群UI界面查看结果文件6、在Y
转载
2023-11-18 23:12:44
79阅读
