public class Test{
public static void main(String[] args){
System.out.println("hello world");
}
}之前的时候写了一篇文章是关于大数据需要学习那些知识点，好久没有更新过博客了。从现在起有时间的时候就会跟大家从最基本的java开发开始讲解关于大数据的知识，当然很多的知识点都是我一边学习一边在更新，所
转载
2024-06-02 16:58:31
6阅读
1、大数据流程图 2、大数据各个环节主要技术 2.1、数据处理主要技术 Sqoop：（发音：skup）作为一款开源的离线数据传输工具，主要用于Hadoop(Hive) 与传统数据库（MySql,PostgreSQL）间的数据传递。它可以将一个关系数据库中数据导入Hadoop的HDFS中， 也可以将HDFS中的数据导入关系型数据库中。 Fl
转载
2024-08-12 17:15:33
38阅读
1) 数据采集：定制开发采集程序，或使用开源框架FLUME
2) 数据预处理：定制开发mapreduce程序运行于hadoop集群
3) 数据仓库技术：基于hadoop之上的Hive
4) 数据导出：基于hadoop的sqoop数据导入导出工具
5) 数据可视化：定制开发web程序或使用kettle等产品
6)
转载
2019-01-02 22:14:00
2005阅读
2评论
目录1. HTTP请求流程2. MapReduce作业流程(Yarn)4. Spark提交作业流程(Yarn)4.1. Yarn Client模式4.2. Yarn Cluster模式4.3. Stage和task级调度 1. HTTP请求流程应用层：分解url(服务器和请求资源)；生成http请求消息；DNS域名解析；发给操作系统；传输层：添加TCP头部；三次握手建立连接；操作系统缓存区累积一
转载
2023-07-27 22:25:45
65阅读
在合适工具的辅助下，对广泛异构的数据源进行抽取和集成，将结果按照一定的标准进行统一存储，然后利用合适的数据分析技术对存储的数据进行分析，从中提取有益的知识，并利用恰当的方式将结果展现给终端用户。数据抽取与集成对所需数据源的数据进行抽取和集成，从中提取出数据的实体和关系，经过关联和聚合之后采用统一定义的结构来存储这些数据。在数据集成和提取时，需要对数据进行清洗，保证数据质量及可信性。数据抽取与集成方
转载
2023-11-25 16:08:14
49阅读
大数据面试题：HBase读写数据流程
原创
2023-07-30 22:56:09
131阅读
一、概念 大数据中包含两种处理方式：流处理和批处理。流处理：即流式处理。流式处理假设数据的潜在价值是数据的新鲜度，需要尽快处理得到结果。在这种方式下，数据以流的方式到达。在数据连续到达的过程中，由于流携带了大量数据，只有小部分的流数据被保存在有限的内存中。流处理方式用于在线应用，通常工作在秒或毫秒级别。批处理：批处理方式中，数据首先被存储，然后再分析。MapReduce是非
转载
2023-09-21 16:50:25
108阅读
前几天和大佬交流，说一些大牛可以分分钟复制一个中间件，拿这个标准衡量自己还是差的有点远的，在工作中经常用到的是kafka，现在有点时间再深入了解一下kafka的写入过程。几个基本的概念：broker： 消息处理结点，多个broker组成kafka集群。topic： 一类消息，如page view，click行为等。partition： topic的物理分组，每个partition都是一个有序队列。
转载
2024-03-16 13:25:12
49阅读
大数据处理技术，随着大数据时代的发展变化，也在不断迭代更新，到了近几年，实时流计算占据主导趋势，企业级的平台开发任务当中，实时计算数据架构的地位变得愈加重要。今天的大数据入门分享，我们就主要来聊聊实时计算数据架构的演变历程。实时计算数据架构，大致经历了四个阶段：传统数据基础架构、微服务架构、大数据数据架构、有状态流式架构。1、传统数据基础架构传统单体数据架构最大的特点便是集中式数据存储，大多数分为
转载
2023-10-27 05:18:40
57阅读
是否是并行流，例如上例中创建流的代码为menu.stream()，该方法的流是非并行化流，如果要支持并行化执行，需要满足的第一个条件就是需要使用menu.parallelStream()方法返回的流。Collector(收集器，行为化参数)中收集器行为集合中是否包含Characteristics.CONCURRENT(并行执行)，如果不包含该行为，则不支持并行执行。原始流是否有顺序 或 者 收集器
一、大数据技术划分 二、流式计算历史演进 目前主流的流式计算框架有Storm/Jstorm、Spark Streaming、Flink/Blink三种。 Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。在Storm中，需要先设计一个实时计算结构，我们称之为拓扑
转载
2024-07-04 09:36:30
173阅读
1、网络拓扑-节点距离计算 节点距离：两个节点到达最近的共同祖先的距离总和(一条线的长度为1) 2、机架感知-副本储存节点选择 当副本为三个时： 本地机架上的一个节点 本地机架上的另一个节点 不同机架的不同节点 3、读写数据流 1)、读 (fs)向NameNode请求读取文件 -> NameNode
原创
2021-07-14 11:36:05
167阅读
# Spark数据流程：一次深入浅出的探索
Apache Spark 是一个开源的分布式计算框架，广泛应用于大数据处理。其强大的数据处理能力和优雅的API，使得开发者能够以简洁的方式处理海量数据。今天，我们将系统性地探讨 Spark 的数据流程，并通过代码示例帮助你更好地理解这一过程。
## 1. Spark 的基本概念
在深入数据流程之前，首先需要了解一些关键概念：
- **RDD（弹性
原创
2024-08-01 05:49:19
66阅读
# Netty 数据流程
Netty 是一个基于 Java NIO 的异步事件驱动的网络应用框架，可以用于快速开发可扩展的高性能网络服务器和客户端。它的数据流程是其中一个重要的组成部分。本文将详细介绍 Netty 的数据流程，并提供相应的代码示例。
## 数据流程概述
在 Netty 中，数据流程主要包括数据的读取、处理和写入三个阶段。当有数据到达时，Netty 会从网络中读取数据并交给处理
原创
2024-01-10 03:49:45
65阅读
1.数据流图（Data Flow Diagram），简称DFD，它从数据传递和加工角度，以图形方式来表达系统的逻辑功能、数据在系统内部的逻辑流向和逻辑变换过程，是结构化系统分析方法的主要表达工具及用于表示软件模型的一种图示方法。它是描绘信息流和数据从输入移动到输出的过程中所经受的变换。 其主要元素有：→：数据流 □：数据源（终点） ○：对数据的加工（处理） 〓
转载
2023-11-20 08:55:40
340阅读
架构图 架构图摘自网络，后续例子使用个人集群进行讲解HBase写流程详解假如我们有三台机器，ruozedata001 ruozedata002 ruozedata003写流程：首先要写数据，要有客户端、zookeeper架构图中的：Put：table/RowKey/CF/Column: V，例如插入一条数据：数据表：bigdata:student ，RowKey：1001，in
转载
2023-07-20 23:39:19
152阅读
原创
2022-07-04 11:44:46
692阅读
实验目的：（1）掌握网络通信的概念。 （2）掌握InetAddress、URL类的使用。 （2）掌握JAVA利用 TCP协议和UDP协议进行通信的网络编程方法。实验内容1、从键盘输入网址，读取网址内容，在显示器进行显示，并存储为文件test.html。package sdut.cs;
import java.io.FileOutputStream;
import java.io.IOExcept
转载
2024-01-17 07:53:35
34阅读
实时流式计算，也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。
实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么，到底什么是实时流式计算呢？
谷歌大神Tyler Akidau在《the-world-beyond-batch-streaming-101》一文中提到过实时流式计算的三个特征：
1、无
1. HDFS读数据流程 1、与NameNode通信查询元数据，找到文件块所在的DataNode服务器 2、挑选一台DataNode（网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode）服务器，请求建立socket流 3、DataNode开始发送数据(从磁盘里面读取数据放入流，以pac
原创
2022-01-13 09:40:07
227阅读
