Hadoop简介Hadoop，这个名字没有特别含义，只是项目创建者的孩子为一个棕黄色的大象玩具起的名字。Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处
转载
2023-07-20 17:19:22
59阅读
1. 简单介绍一下FlinkFlink是一个面向流处理和批处理的分布式数据计算引擎，能够基于同一个Flink运行，可以提供流处理和批处理两种类型的功能。 在 Flink 的世界观中，一切都是由流组成的，离线数据是有界的流；实时数据是一个没有界限的流：这就是所谓的有界流和无界流。2. Flink的运行必须依赖Hadoop组件吗Flink可以完全独立于Hadoop，在不依赖Had
转载
2023-11-21 22:33:27
208阅读
HBase安装和运行1）HBase理解HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。HBase存储的数据介于映射（key/value）和关系型数据之间。Hadoop整体生态系统示意图：HBase位于结构化存储层，围绕HBase，各部件对HBase的支持情况：Hadoop部件 作用HDFS
转载
2023-07-23 17:35:14
64阅读
所用信息版本： 主节点1台： ubuntu 16.04 desktop . 从节点2台： ubuntu 14.04 serverhadoop 2.7.4spark 2.2.0 java 1.8scala 2.12.3（搭建过程 也是linux 命令熟悉过程）先改下 三台主机名称： 主节点; server1 ，从节点slave1,slave2&
# 为什么要在Hadoop中安装MySQL
## 1. 流程
以下是在Hadoop中安装MySQL的流程：
| 步骤 | 操作 |
|---|---|
| 1 | 下载MySQL JDBC驱动 |
| 2 | 将MySQL JDBC驱动添加到Hadoop的classpath中 |
| 3 | 创建数据库和表 |
| 4 | 在Hive中配置并使用MySQL |
## 2. 操作步骤
##
原创
2024-05-05 03:51:59
39阅读
2.Flink的运行必须依赖Hadoop组件吗？Flink 可以完全独立于 Hadoop， 在不依赖 Hadoop 组件下运行。 但是做为大数据的基础设施， Hadoop 体系是任何大数据框架都绕不过去的。 Flink 可以集成众多Hadooop 组件， 例如 Yarn、 Hbase、 HDFS 等等。 例如， Flink 可以和 Yarn 集成做资源调度， 也可以读写 HDFS， 或者利用 HD
转载
2023-08-01 15:49:24
273阅读
一.Flink是什么Apache Flik 是一个面向分布式数据流处理和批量数据处理的开源计算平台,提供支持流处理和批处理两种类型应用的功能。二.Flink特点现在的开源方案,会把流处理和批处理作为两种不同的应用类型:流处理一般需要支持低延迟,Exactly-once保证,而批处理需要支持高吞吐,高效处理.
Flink是完全支持流处理,也就是说作为流处理看待时输入数据流是无界的;批处理被作为一种特
转载
2023-09-03 11:51:44
225阅读
好久没写文章了，手都有点生。菜鸡一只，如果有说错的还请大家批评！最近工作上的事情还是有点忙的，主要都是一些杂活，不干又不行，干了好像提升又不多，不过拿人家手短吃人家嘴软，既然拿了工资就应该好好的干活，当然前提是需求相对合理的情况嘿嘿~近来Flink的势头有点猛啊，它和spark的区别在于：spark更倾向于批处理或者微批处理（spark现在的发展方向往人工智能的分布式算法上走了），但是Flink确
转载
2023-08-07 16:32:41
171阅读
在 Flink 这个框架中，有很多独有的概念，比如分布式缓存、重启策略、并行度等，这些概念是我们在进行任务开发和调优时必须了解的，这一课时我将会从原理和应用场景分别介绍这些概念。分布式缓存熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据或者文件缓存在 HDFS 上，在分布式环境中让所有的计算节点调用同一个配置文件。在 Flink 中，Fl
转载
2023-07-24 21:58:28
157阅读
一、基础知识：
1、JVM、JRE和JDK的区别：
JVM(Java Virtual Machine):java虚拟机，用于保证java的跨平台的特性。
java语言是跨平台，jvm不是跨平台的。
JRE(Java Runtime Environment):java的运行环境,包括jvm+java的核心类库。
JDK(Java Development Kit):java的开发工具,包括j
转载
2024-08-18 14:25:29
69阅读
Hadoop使用学习笔记2. 基本Map-Reduce工作配置与原理（上）我们假设MapReduce任务为统计所有文件中每个词语出现次数。整个MapReduce流程主要如下所示，可以分为四步：我们将统计所有文件中每个词语出现次数拆分成为：文件输入转换成Map工作可处理的键值对（后面我们会知道是以文件位置为key，文件内容为value）Map：提取上一步value中的所有词语，生成以词语为key，v
转载
2023-09-21 23:26:03
121阅读
目录前言：1、连续事件处理的目标2、流处理技术的演变Lambda 架构概述：优势和局限性3、初探Flink批处理与流处理4、为什么选择Flink前言： 我们渴望按照流的方式处理数据，但要做好很困难；随着大规模数据在各行各业中出现，难度越来越大。这是一个属于物理学范畴的难题：在大型 分布式系统中，数据一致性和对事件发生顺序的理解必然都是有限的。伴随着方法和技术的演化，我们尽可能使这种局限性不危及商业
转载
2023-10-17 19:28:38
4阅读
# Java为何要new对象
作为一名经验丰富的开发者，我深知在Java中使用new关键字创建对象的重要性。在本文中，我将向刚入行的小白解释为什么需要使用new关键字来创建对象，并指导他如何实现这一过程。
## 流程概述
首先，让我们通过一个表格展示创建对象的整个过程：
| 步骤 | 操作 |
| ---- | -------------------- |
原创
2024-06-05 07:21:02
29阅读
# 为何要将 BFF 转为 Java
在现代软件架构中，Backend for Frontend (BFF) 模式逐渐受到青睐。它通过为不同前端应用程序提供专门的后端，解决了多种前端技术栈之间的适配问题。然而，在实际开发中，很多团队选择将 BFF 的实现语言从 Node.js 或其他轻量级语言转为 Java。本文将探讨这一转变的原因，并提供相应的代码示例来阐明如何进行这一转换。
## 什么是
请问： 1 hadoop搭建无论是伪分布式还是集群，都要关闭防火墙，关闭原因是什么？ 2 如上两种方式搭建下，在搭建成功后，还需要开启防火墙吗？ 3 如果不开启防火墙的话，岂不是这个集群不安全了？ 回答: 集群其实现在没什么安全性考虑的 因为都是内网搭建的，对外还有一个服务器的，那个服务器有防火墙，由它来访问内网集群，如果内网内开启防火墙，内网集群通讯会出现很多问...
原创
2023-04-21 00:50:43
294阅读
# 如何在iOS设备上安装Python
## 简介
在iOS设备上安装Python可以让你在移动端也能方便地进行Python编程。下面我将教你如何实现这一过程。
## 步骤
首先我们来看整个安装流程的步骤：
```mermaid
flowchart TD
A(下载Pythonista应用) --> B(在App Store中搜索Pythonista并下载)
B --> C(安
原创
2024-06-14 05:59:28
47阅读
导读：本文从设计理念的角度将Flink 与主流计算引擎 Hadoop MapReduce和Spark进行对比，并从宏观上介绍Flink的基本架构。01Flink与主流计算引擎对比1. Hadoop MapReduceMapReduce 是由谷歌首次在论文“MapReduce: Simplified Data Processing on Large Clusters”（谷歌大数据三驾马车之一）中提出
转载
2023-08-28 20:29:02
220阅读
第一章 为什么要用flink？一、背景阿里巴巴以9000万欧元的价格收购了位于柏林的Data Artisans这家最牛逼的开源流引擎Flink背后的创业公司。 在Hadoop生态圈，Flink是一个比Spark更新的引擎。Spark你肯定知道了，就是那个取代了MapReduce成为新一代数据处理引擎霸主的。 但是你可能不知道，阿里巴巴内部已经全面用Flink取代了Spark。 所以如果你只学Had
转载
2023-10-02 09:40:38
126阅读
环境条件JDK1.8Hadoop 2.7.5mac osHadoop部署步骤第一步 安装JDK因为Hadoop是java写的开源框架，所以必须建立在Java的运行环境上。本篇采用的是JDK1.8 ，其实只要1.7以上的版本就可以了需要配置好JDK的环境变量，这里就不详细说了第二步 安装Hadoop//tar开下载下来的hadoop包tar -xzvf hadoop-2.7.5.tar.gz//co
转载
2023-08-08 14:25:18
96阅读
最近大数据很流行，而hadoop又是分析大数据的有力工具，加之工作需要，我近期也在学习hadoop的相关知识。学习归学习，还是要实践；而实践，得先有环境。看到教科书上的一些方法，都是在linux上配置；mac与linux相近，我就在mac os上实践了。mac os版本是10.8.1，配置的是单机伪分布式环境，目的是学习hadoop程序编写；至于hadoop集群搭建，暂时不感兴趣。主要参考的资料是
转载
2023-10-24 07:41:52
50阅读
