vi getNcdcBigData.sh内容如下：#!/bin/bashfor i in {1901..2014}docd /home/xxxx/hapood/ncdcwge
原创
2022-05-17 19:05:48
80阅读
Google 在 2001 年发布图像搜索功能时，只有 2.5 亿索引图像，不到 10 年，这个巨大的搜索功能已经可以检索超过 100 亿个图像了，每分钟有 35 小时的内容上传到 YouTube。据称，Twitter 每天平均处理 5500 万 tweet。今年早些时候，搜索功能每天记录 6 亿条查询记录。这 就是我们讨论大数据的意义所在。如此大规模的数据一度仅限于大企业、学校和政府机构 — 这
转载
2024-10-12 11:41:52
80阅读
目 录 摘 要 I Abstract III 1绪论 1 1.1选题背景及意义 1 1.2研究现状及趋势 1 1.3研究主要内容 2 2相关技术简介 3 2.1开发工具 3 2.1.1 JDK1.7 3 2.1.2 eclipse luna 3 2.1.3 Hadoop 2.7.2 3 2.1.4 hbase 1.1.3 3 2.1.5 hive 1.2.1 3 2.1.6 zookeeper 3
转载
2023-10-03 11:39:14
317阅读
ncdc气象数据分析涉及收集和处理大量的气象数据，以及应用统计和分析工具对这些数据进行深入的解析。下面将详细记录解决ncdc气象数据分析问题的过程，包括协议背景、抓包方法、报文结构、交互过程、逆向案例和扩展阅读。
### 协议背景
ncdc气象数据分析主要涉及对国家气象数据中心（National Climatic Data Center, NCDC）提供的气象数据进行分析。NCDC收集了数十年
MapReduce是Hadoop2.x的一个计算框架，利用分治的思想，将一个计算量很大的作业分给很多个任务，每个任务完成其中的一小部分，然后再将结果合并到一起。将任务分开处理的过程为map阶段，将每个小任务的结果合并到一起的过程为reduce阶段。下面先从宏观上介绍一下客户端提交一个作业时，Hadoop2.x各个组件之间的联系及处理流程。然后我们再具体看看MapReduce计算框架在执行一个作业时
转载
2024-05-24 21:53:46
135阅读
一、NetCDF（.nc）数据介绍 目录一、NetCDF（.nc）数据介绍二、温度与降水数量数据下载三、数据处理过程 NetCDF(network Common Data Form)，即 网络公用数据格式，是一种用来存储温度、湿度、气压、风速和风向等多维科学数据（变量）的文件格式。在
附录C 准备NCDC气象数据
这里首先简要介绍如何准备原始气象数据文件，以便我们能用Hadoop对它们进行分析。如果打算得到一份数据副本供Hadoop处理，可按照本书配套网站(网址为http://www.hadoopbook.com/)给出的指导进行操作。接下来，首先说明如何处理原始的气象文件。
原始数据实际是一组经过bzip2压缩的tar文件。每个年份的数据单独放在一个文件中。部分文件列举如下：
转载
2024-04-26 11:16:56
36阅读
NOAA（美国海洋和大气管理局）提供GHCND（全球历史气候学网络）月度摘要数据库，可以满足全球陆地区域历史月度温度，降水和降雪记录的研究需求。GHCND月度摘要数据库数据源自GHCN-Daily数据库，经过质量审查与二次加工制成，主要包含18个气象要素，包括温度（每月平均值和极端值），降水（每月总数，极端值和满足各种数量阈值的天数），降雪，最大雪深等。GHCND月度摘要数据库与它对应的每日数据库
转载
2024-04-24 20:07:25
199阅读
初始状态fsck健康检查参数说明：Status：代表这次hdfs上block检测的结果
Total size ： hdfs集群存储大小，不包括复本大小。如：4568974435B/1024/1024/1024 = 4.26GB
Total dirs：代表检测的目录下总共有多少个目录
Total blocks (validated) : 总共的块数量，不包括复本。212 * 21551766B /
转载
2023-08-07 11:08:30
114阅读
文章目录一、概述二、Hudi 架构三、Hudi的表格式1）Copy on Write（写时复制）2）Merge On Read（读时合并）3）COW vs MOR四、元数据表（Metadata Table）五、索引（Indexing）六、查询类型（Query Type）1）Snapshot Queries(快照查询)2）Incremental Queries(增量查询)3）Read Optimi
转载
2023-07-25 00:07:53
120阅读
HDFS 的基本架构Hadoop 中的分布式文件系统 HDFS 为大数据平台提供了统一的存储，它主要由三部分构成，分别是 NameNode、DataNode 和 SecondaryNameNode。如果是 HA 架构，那么还有 StandbyNameNode 和 JournalNode。NameNode（名字节点，或者元数据节点）是 HDFS 的管理节点，专门用来存储元数据信息，所谓元数据指的是除
转载
2023-09-01 09:21:33
102阅读
Hadoop NameNode 高可用官方网站namenode可以手动进行切换也可以使用zookeeper进行自动的切换，下面只有第二种方法。配置zookeeper基本环境配置此时存在多台namenode，这些namenode之间需要进行免密配置。修改配置文件1. hdfs-site.xml<configuration>
<property>
<
转载
2023-08-23 20:35:25
44阅读
文章目录一、概述二、架构1）数据导入（RDBMS->Haoop）2）数据导出（Haoop->RDBMS）三、安装1）下载2）配置环境变量3）配置sqoop代理用户4）安装JDBC5）修改`conf/sqoop.properties`6）存储库初始化7）启动sqoop服务端8）启动sqoop客户端9）设置客户端的各种属性四、简单使用1）常用命令2）数据从MYSQL导入到HDFS（Imp
转载
2023-07-20 17:35:33
350阅读
使用目的传统的方式去数据的处理对于大量数据是非常低效的，因此，使用一种称为MapReduce的算法谷歌解决了这个问题。这个算法将任务分成小份，并将它们分配到多台计算机，并且从这些机器收集结果并综合，形成了结果数据集。传统：Hadoop：Hadoop的架构在其核心，Hadoop主要有两个层次，即：加工/计算层(MapReduce)，以及存储层(Hadoop分布式文件系统)。MapReduceMapR
转载
2023-09-20 10:52:37
67阅读
大数据之Hadoop入门 一、Hadoop特点：volume(大量) velocity(高速) variable(多样) value(低价值密度)二、Hadoop优势： 1.高可靠性--hadoop底层维护多个数据版本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据丢失。 2.高扩展性--在集群间分配任务数据，可方便的扩展数以千计的节点。 3.高效性--在MapReduc
转载
2023-07-10 22:11:13
237阅读
一、hadoop简介一、概述Hadoop是Apache提供的一个开源的、可靠的、可扩展的系统架构，可以利用分布式架构来进行海量数据的存储以及计算。需要注意的是Hadoop处理的是离线数据，即在数据已知以及不要求实时性的场景下使用。二、版本Hadoop1.0：只包含HDFS以及MapReduce两个模块Hadoop2.0：完全不同于1.0的架构，包含HDFS、MapReduce以及Yarn三个模块H
转载
2023-09-20 07:18:45
70阅读
系列前三篇文章中介绍了分布式存储和计算系统Hadoop以及Hadoop集群的搭建、Zookeeper集群搭建、HBase分布式部署等。当Hadoop集群的数量达到1000+时，集群自身的信息将会大量增加。Apache开发出一个开源的数据收集和分析系统—Chukwa来处理Hadoop集群的数据。Chukwa有几个非常吸引人的特点：它架构清晰，部署简单；收集的数据类型广泛，
转载
2023-10-14 23:20:20
87阅读
首先，回一下Hadoop的基础概念，从概念入手恢复集群。HDFS metadata以树状结构存储整个HDFS上的文件和目录，以及相应的权限、配额和副本因子（replication factor）等。本文基于Hadoop2.6版本介绍HDFS Namenode本地目录的存储结构和Datanode数据块存储目录结构，也就是hdfs-site.xml中配置的dfs.namenode.name.dir和d
转载
2023-07-12 14:55:29
221阅读
1、分区是必须要经历Shuffle过程的，没有Shuffle过程无法完成分区操作2、分区是通过MapTask输出的key来完成的，默认的分区算法是数组求模法： --------------数组求模法： -----------将Map的输出Key调用hashcode（）函数得到的哈希吗（hashcode），此哈希吗是一个数值类型 ，将此哈希吗数值直接与整数的最大值（Integer.MAXVALU
转载
2023-09-06 19:25:35
47阅读
1、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，也是一个开源的大数据框架，通俗点说，是一个分布式计算的解决方案。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。可以这
转载
2023-09-20 10:51:32
39阅读
