对于任何一个进入大数据世界的人来讲，大数据和Hadoop 就成了同义词。随着人们学习了大数据生态系统及其工具和运作原理，他们更能理解大数据的实际意义以及Hadoop 在生态系统中所扮演的角色。维基百科对大数据这样解释：大数据是一个宽泛的术语，它指传统数据处理应用程序无法处理的巨大而复杂的数据集。简单来讲，随着数据量的增加，采用常规处理方法需要花费大量时间且价格不菲。Doug Cutting受谷歌G
在深入了解Flink如何在不使用Hadoop的情况下运行之前，我们需要首先明确一些背景和上下文信息。Flink是一种强大的流处理框架，设计用于在大规模数据流中进行高效的实时数据处理。随着大数据技术的发展，Flink的独立扩展性使其逐渐成为许多企业数据处理的首选。近年来，许多用户开始探索如何在没有Hadoop的环境中使用Flink，以提高灵活性和效率。
### 协议背景
在数据处理生态系统中，F
Hadoop MapReduce虽然已经可以满足大数据的应用场景，但是其执行速度和编程复杂度并不让人们满意。于是UC Berkeley的AMP Lab推出的Spark应运而生，Spark拥有更快的执行速度和更友好的编程接口，在推出后短短两年就迅速抢占MapReduce的市场份额，成为主流的大数据计算框架。读到这里请你先停一下，请给这段看似“没毛病”的引子找找问题。不知道你意识到没有，我在这段开头说
转载
2024-10-22 09:25:13
14阅读
# Hadoop不使用Hostname
在大数据时代，Hadoop作为一个开源框架，已经成为了处理和存储海量数据的首选工具。然而，在配置Hadoop时，很多用户会忽视一个重要的设置——主机名（hostname）的配置。本文将深入探讨Hadoop如何在不使用主机名的情况下运行，以及相关的配置与代码示例。
## 什么是Hadoop？
Hadoop是一个开源框架，用于分布式存储和处理大数据。它的核
一、背景 在最新的项目开发过程中，需要大量的对基础数据的转换实现中间字段或者中间表，使用SQL去进行数据的计算和处理，往往需要耗费大量的精力去写SQL并且实现起来很不方便，没有R、Python、Matlab、Scala等实现起来方便，基于这样的一个工作过程中遇到的痛点背景，有同学建议使用spark进行数据的etl处理直接生成结果表，先不论能否实现最终的目标但不
转载
2024-10-11 11:47:54
56阅读
前言本文主要总结了一下下载ERA5数据的经验和方法，主要分为Windows系统和Mac系统两部分；还附带了一些搜索到的比较好的相关经验，比如批量下载的方法目录1.ERA5数据简介 2.window系统下载ERA5数据 3.Mac系统下载ERA5数据 4.批量下载ERA5数据1.ERA5数据简介ERA5是第五代ECMWF大气再分析全球气候数据，该数据集的第一部分现在可以公开使用(1979年到3个月内
spark 从入门到放弃（一）标签（空格分隔）： spark 机器学习
入坑打算出一系列的文章记录自己学习spark的历程，书籍《spark核心源码分析与开发实战》 电子工业出版社spark介绍了解一下发展背景
百度百科Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集（Scala 提供一个称为 Actor 的并行
一、Hadoop与spark区别Hadoop虽然已经成为大数据技术的事实标准，但其本身存在很多缺陷。比如，mapreduce计算模型延迟过高，无法实现实时快速计算的需求，只适用于离线批处理，I/O磁盘开销大。 spark在借鉴mapreduce优点同时，很好解决了mapreduce存在的缺陷：
转载
2024-01-12 00:34:56
112阅读
应用场景Apache Flink 是开发和运行许多不同类型的应用程序的绝佳选择，因为它具有广泛的功能集。Flink 的功能包括支持流和批处理、复杂的状态管理、事件时间处理语义以及状态的一次性一致性保证。下面，我们将探讨由 Flink 提供支持的最常见的应用程序类型，并为现实世界的示例提供指导。事件驱动的应用程序数据分析应用数据管道应用事件驱动的应用程序什么是事件驱动的应用程序？事件驱动应用程序是一
转载
2023-12-07 09:32:43
27阅读
# 使用flinkcdc实现集群——不依赖Hadoop
## 介绍
Apache Flink 是一个流式计算引擎，可以处理大规模的数据流。Flink 提供了一种称为 FlinkCDC 的功能，可以用于实时捕获和处理变更数据。在本文中，我们将介绍如何使用 FlinkCDC 来构建一个集群，而不需要依赖 Hadoop。我们将展示如何配置和运行 FlinkCDC，以及如何编写代码来处理变更数据。
原创
2024-05-26 04:57:06
154阅读
又是装环境斗志斗勇的一天，苦笑之前一直不想搭虚拟机/Hadoop/spark这些环境，后来python三千万行数据实在跑不动了，知道有pyspark这等好东西，以为conda install pyspark一下就可以了，发现并没有那么简单。找了很多资料，搜了很多也没找到合适的教程，正好记录一下，希望能帮到需要的同学。不用虚拟机不用Hadoop。环境：anconda 3.0 win10 64位1.下
转载
2023-12-29 23:53:09
147阅读
1、简介1.1 spark VS hadoopspark和hadoop的根本差异是多个作业之间的数据通信问题：spark多个作业之间数据通信是基于内存，而hadoop是基于磁盘。1.2 核心模块spark core：提供spark最基础与最核心的功能spark SQL：spark用来操作结构化数据的组件，可以使用SQL来查询数据spark Streaming：spark平台上针对实时数据进行流式计
转载
2023-12-26 15:27:05
33阅读
Hadoop伪分布式安装之Linux环境准备一.软件版本VMare Workstation Pro 14CentOS 7 32/64位二.实现Linux服务器联网功能网络适配器双击选择VMnet82.1 VMare NAT工作模式只有CentOS和Windows中的VMnet8生成的虚拟网卡都在VMare虚拟网关字段中才能组成一个网络，实现联网功能。2.2 VMare设置1.打开VMare -&
hadoop命令的使用：Usage: hadoop [--config confdir] COMMAND 这里COMMAND为下列其中一个：<span style="font-size:16px;">namenode -format 格式化DFS文件系统
secondarynamenode 运行DFS的第二个namenode
namenode
# Flink 高可用搭建（不使用 Hadoop）
Apache Flink 是一个强大且灵活的流处理框架。为了实现高可用性，通常需要设置分布式的架构。然而，如果你不希望采用 Hadoop，我们可以选择将 Volumes 和 Kubernetes 结合起来实现高可用性的 Flink 集群。接下来，我将说说如何实现这一点。
## 整体搭建流程
| 步骤 | 描述
原创
2024-10-12 03:13:18
184阅读
## 如何在Hadoop中不使用Kerberos认证
作为一名经验丰富的开发者，你可能已经了解到在Hadoop集群中，Kerberos是一种常见的认证方式。但是有时候我们可能不需要使用Kerberos认证，本文将教你如何在Hadoop中不使用Kerberos认证。
### 流程图
```mermaid
erDiagram
理解需求 --> 配置Hadoop
配置Hadoop
原创
2024-06-04 07:23:20
51阅读
如果说简单聚合是对一些特定统计需求的实现，那么 reduce 算子就是一个一般化的聚合统计操作了。从大名鼎鼎的 MapReduce 开始，我们对 reduce 操作就不陌生：它可以对已有的 数据进行归约处理，把每一个新输入的数据和当前已经归约出来的值，再做一个聚合计算。与简单聚合类似，reduce 操作也会将 KeyedStream 转换为 DataStream。它不会改变流的元 素数据类型，所以
转载
2023-11-12 09:30:06
75阅读
我们来写第一个依赖maven的spark程序wordcount1、配置maven 在MAVEN_HOME/conf目录下，编辑setting.xml，添加如下内容。为了方便，我使用的是阿里的镜像。</mirrors>
<mirror>
<id>nexus-aliyun</id>
<name>nexus-a
转载
2024-10-18 13:29:13
28阅读
在大数据处理领域，PySpark 是一个强大的工具，可以通过集成 Hadoop，实现高效的数据处理和分析。本文将详细描述如何通过 PySpark 读取 Hadoop 数据，包括必要的环境准备、分步指南以及各种优化技巧。
## 环境准备
进行 PySpark 读取 Hadoop 之前，首先需要准备好环境。
### 软硬件要求
- **硬件要求：**
- CPU: 至少 4 核心
-
Hadoop Hive Spark简介1 前言2 什么是Hadoop？2.1 定义2.2 解释Map-Reduce的原理2.3 MapReduce的优缺点2.4 什么是HBase？3 Hive是啥？3.1 为什么有SQL还要Hive？3.2 什么是Hive？3.3 Hive优缺点3.4 Hive应用场景4 Spark又是啥？4.1 基本定义4.2 Spark的核心组件4.3 Spark的优势4.
转载
2023-08-18 21:02:06
71阅读
