package hadoopshiyan; import org.apache.hadoop.fs.*; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import jav
原创
2021-07-23 16:25:34
392阅读
Hadoop大数据框架学习（配置启动篇）大数据的特点：Volume(大量)：数据量到达PB,EB级别Velocity(高速): 要求处理海量数据效率高速度快Variety(多样)：数据的样化。（结构化数据，非结构化数据和半结构化数据）Value(低价值密度)：价值密度低，难以提取出有价值的信息。Hapood是什么Hadoop是一个由Apache开发的分布式系统基础架构，主要解决，海量数据的存储和分
转载
2024-06-17 14:00:24
27阅读
1）FileInputFormat<K,V>这个是基本的父类，我们自定义就直接使用它作为父类；
2）TextInputFormat<LongWritable,Text>这个是默认的数据格式类，我们一般编程，如果没有特别指定的话，一般都使用的是这个；key代表当前行数据距离文件开始的距离，value代码当前行字符串；
转载
2023-07-24 11:12:55
42阅读
MapReduce -读取数据通过InputFormat 决定读取的数据的类型，然后拆分成一个个InputSplit ，每个inputSplit 对应一个Map 处理，RecordReader 读取InputSplit 的内容给Map 。InputFormat 决定读取数据的格式，可以是文件或数据库等。功能:1) 验证作业输入的正确性，如格式等。2). 将输入文件切割成逻辑分
转载
2023-07-12 12:27:45
98阅读
# Python读取Hadoop数据的流程
## 1. 确定Hadoop数据存储的位置和格式
首先，你需要确认Hadoop数据存储的位置和格式。Hadoop支持多种文件格式，例如文本文件、SequenceFile、Avro等。确定了数据的存储位置和格式后，才能进行后续的读取操作。
## 2. 安装Hadoop相关的Python库
在Python中，有一些库可以用来读取Hadoop数据，比如`p
原创
2023-10-04 03:10:46
276阅读
最近在工作讨论中，同事提出了这么一个问题：作用在一个RDD/DataFrame上的连续的多个map是在对数据的一次循环遍历中完成的还是需要多次循环？当时我很自然地回答说：不需要多次循环，spark会将多个map操作pipeline起来apply到rdd partition的每个data element上。事后仔细想了想这个问题，虽然我确信spark不可能傻到每个map operator都循环遍历一
# Hadoop读取NAS数据的实现步骤
## 1. 概述
在本文中，我们将介绍如何使用Hadoop读取NAS（Network Attached Storage）数据的步骤。Hadoop是一个开源的分布式计算框架，可以处理大规模数据集。NAS是一种网络存储设备，可以通过网络连接到计算机并共享文件。
## 2. 流程图
下面是Hadoop读取NAS数据的整体流程图：
```mermaid
er
原创
2023-09-24 09:03:17
56阅读
当客户端打算从 HDFS 中取数据的时候，例如一个作业的结果，同样需要首先与 Name Node 打交道，的值想取的数据被存放在哪里，Name Node 同样会给客户端一个清单，然后客户端去 Name Node 指定的某个 Data Node 中拿数据（通过TCP 50010 端口）。
转载
2023-07-12 15:26:42
94阅读
刚开始使用spark-sql，首先看了一部分的源码。然后开始着手程序的编写。在spark中使用jdbc：在 Spark-env.sh 文件中加入:export SPARK_CLASSPATH=任务提交时加入:spark-submit –master spark://master:7077 –jars ojdbc16.jar
一、
val rdd = sqlContext.read.format(“
转载
2023-10-06 16:40:06
429阅读
Hadoop的读写流程 HDFS的文件读取过程 1、 Client向NameNode发起RPC请求，来确定请求文件block所在的位置； 2、 NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址； 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序
转载
2024-05-17 12:54:48
35阅读
一.hdfs读写流程 读: 步骤一. HDFS的client客户端调用分布式文件系统对象的open()方法,然后通过RPC(远程过程调用)方式调用NameNode的open(),本质就是获取DataNode的block locations信息(与客户端远近做了排序)，并返回到客户端。 步骤二.HDFS客户端Client调用open()方法的同时，会生成输入流对象FSDataInputStre
转载
2023-09-20 10:18:31
46阅读
上面一节讲了SAS的基本概念，以及语法结构，这次主要讲解SAS DATA步读取数据。 1 ·列表输入 2 ·按列输入 3 ·格式化输入 使用DATA步读取数据的基本形式如下：DATA 数据集;INPUT 变量1 <$> <变量2  
转载
2023-12-16 11:25:16
88阅读
在公司做大数据开发已经四五年了，因此也积累了一些心得体会，便趁着这次机会大体描述下。 首先：数据开发的前提肯定是需要数据的，而数据从哪里来，大部分的数据都存储在Oracle中，而spark的计算 数据来源基本上都是hdfs。虽然oracle也可以与spark进行直接交互，但是如果oracle的表的数据量高达千万、亿 级别，每次的spark的查询都会对oracle数据库产生极大的影响，因
转载
2023-11-24 13:35:20
59阅读
Flink CDC Oracle 完整踩坑指南1. flink-cdc同步oracle表的增量数据试用环境：**Oracle：**11.2.0.4.0（RAC 部署）**Flink：**1.12.0通过 Flink 集群方式部署使用。完整代码实现：package com.nari.cdc.job;
/**
* 同步oracle指定表 发送到kafka
*
* @author gym
*
转载
2024-02-04 02:13:36
251阅读
1.HDFS读数据流程
HDFS的读数据流程，如下图：
上图来源于网
客户端通过客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。挑选一台DataNode(就近原则，然后随机)服务器，请求读取数据。DataNode开始传输数据给客户端(从磁盘里面
转载
2023-09-20 07:24:25
125阅读
# Hadoop从Gbase读取数据教程
## 1. 整体流程
下面是从Gbase读取数据到Hadoop的整个流程，可以按照以下步骤进行操作：
|步骤|操作|
|----|----|
|1.|安装并配置Gbase数据库|
|2.|安装并配置Hadoop|
|3.|编写Java程序|
|4.|运行Java程序|
## 2. 操作步骤
### 2.1 安装并配置Gbase数据库
首先，你需
原创
2023-10-14 09:19:09
46阅读
一、MapReduce DB 操作对于本专栏的前面几篇文章的操作，基本都是读取本地或 HDFS 中的文件，如果有的数据是存在 DB 中的我们要怎么处理呢？Hadoop 为我们提供了 DBInputFormat 和 DBOutputFormat 两个类。顾名思义 DBInputFormat 负责从数据库中读取数据，DBOutputFormat负责把数据最终写入数据库中。不过如果要把数据库内容映射成对
转载
2023-09-20 12:44:35
45阅读
在这里记录下学习hadoop 的过程，并对重要内容记录下来，以备以后查漏补缺。要从Hadoop文件系统中读取文件，一般有两种方式：1.使用java.net.URL对象package com.ytu.chapter3;
import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLExcept
转载
2023-08-29 15:40:04
123阅读
创建一个名为‘尘曦’的文件内容如下 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬
转载
2024-03-01 09:54:33
79阅读
采用Python来访问Hadoop HSFS存储实现文件的操作用python访问hdfs是个很头疼的事情。这个是pyhdfs的库import pyhdfsfs = pyhdfs.connect("192.168.1.1", 9000)pyhdfs.get(fs, "/rui/111", "/var/111")f = pyhdfs.open(fs, "/test/xxx", "w")pyhdfs.w
转载
2023-07-21 16:09:28
168阅读
