一、为什么会有Docker出现一款产品从开发到上线，从操作系统，到运行环境，再到应用配置。作为开发+运维之间的协作我们需要关心很多东西，这也是很多互联网公司都不得不面对的问题，特别是各种版本的迭代之后，不同版本环境的兼容，对运维人员都是考验 .Docker之所以发展如此迅速，也是因为它对此给出了一个标准化的解决方案。环境配置如此麻烦，换一台机器，就要重来一次，费力费时。很多人想到，能不能从根本上解
转载
2024-05-16 12:52:59
16阅读
使用Docker搭建大数据Hadoop环境一、安装Docker这是本人第一次用Docker搭建大数据Hadoop环境的步骤，记录在这里：1. 对于CenterOS7系统，内置Docker，可以直接安装yum install -y docker2、启动dockerservice docker start可能会有相关报错：service docker startRedirecting to /bin/
转载
2023-08-04 10:35:12
81阅读
大数据框架 系统平台 Hadoop、CDH、HDP 监控管理 CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle 文件系统 HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio 资源调度 YARN、Mesos 协调框架
原创
2022-07-30 00:54:47
954阅读
标签（空格分隔）： 协作框架**1.1 Superset 概述 **Apache Superset 是一个现代的数据探索和可视化平台。它功能强大且十分易用，可对接各种数据源，包括很多现代的大数据分析引擎，拥有丰富的图表展示形式，并且支持自定义
仪表盘。**1.2 环境说明 **
本课程使用的服务器操作系统为 CentOS 7，Superset 对接的数据源为 MySQL 数据库。
**第 2 章
原创
精选
2023-05-31 21:23:39
1638阅读
点赞
Java 类集框架1. Java类集框架产生的原因 在基础的应用中，我们可以通过数组来保存一组对象或者基本数据，但数组的大小是不可更改的，因此出于灵活性的考虑和对空间价值的担忧，我们可以使用链表来实现动态的数组。灵活的代价是操作上的繁琐，在计算机的世界，处理繁琐问题的不二法门就是将其封装，只向外暴露以供调用的方法视
转载
2024-05-08 13:26:01
45阅读
1、HDFS读流程和写流程1.1 HDFS写数据流程① 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。② NameNode返回是否可以上传。③ 客户端请求第一个 Block上传到哪几个DataNode服务器上。④ NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。⑤ 客户端
转载
2023-11-14 09:37:11
79阅读
转载
2023-07-04 09:39:07
148阅读
介绍:Hadoop实现了一个分布式文件系统(重点)（Hadoop Distributed File System），简称HDFS。HDFS有高容错性
原创
2022-11-30 15:20:42
114阅读
1.Spark介绍Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么，可能还不是太理解，通俗讲就是可以分布式处理大量极数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。这一篇主要给大家分享如何在Windows上安装Spark。2.Spark下载我们要安装Spark，首先需要到Saprk官网去下载对应的安装包，Spark官网：ht
转载
2023-09-07 09:29:34
23阅读
第 1 部分: 大数据分类和架构简介第 2 部分: 如何知道一个大数据解决方案是否适合您的组织第 3 部分: 理解大数据解决方案的架构层第 4 部分: 了解用于大数据解决方案的原子模式和复合模式第 5 部分: 对大数据问题应用解决方案模式并选择实现它的产品概述大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉
转载
2023-10-28 18:08:16
44阅读
概述 大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非常多的因素。 这个 “大数据架构和模式” 系列提供了一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。因为评估一个业务场景是否存在大数据
转载
2023-11-29 10:51:35
99阅读
1、什么是大数据？在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 2、数据的处理技术处理海量数据的核心技术：海量数据存储：分布式海量数据运算：分布式 3、常用的大数据框架这些核心技术
转载
2023-11-17 20:24:29
75阅读
目录：简介pysparkIPython Notebook安装配置spark编写框架：首先开启hdfs以及yarn1 sparkconf2 sparkcontext3 RDD（核心）4 transformation（核心） 5 action（核心）当然也可以指定运行py程序简介：不可否认，sp
转载
2024-02-26 15:01:15
63阅读
本文主要为帮助大家理解ES原理，了解它为啥快，简化部分内容便于理解。1. ES用途1.1 ES是什么？ES是建立在Lucene基础之上的分布式准实时搜索引擎。核心：分布式和Lucene全文搜索。1.2 什么场景需要用ES1. 业务需要进行大量数据实时检索时，传统关系型数据库无法支撑。2. 需要进行分词检索，语义检索3. 需要大数据分析符合上面特征都可以考虑，如日志收集、订单数据链查询，文章检索等。
转载
2024-02-19 17:56:47
118阅读
Hadoop技术生态的组成部分：Hadoop Common：支持Hadoop其他模块的通用工具HDFS：分布式文件系统，提供了高吞吐量的数据访问（最初始模块之一）YARN：作业调度和资源管理的框架MapReduce：基于YARN的大数据分布式计算框架（最初始模块之一） HDFS利用多个商业硬件构成存储集群，利用namenode进行数据的存储控制，具有支持超大文件、存储灵活、可靠性高等特定，面对
转载
2021-04-29 14:06:55
218阅读
2评论
废话不多说先上图 大数据开发常见框架数据传输组件：①Kafka是用Scala编写的分布式消息处理平台。②Logstash是用JRuby编写的一种分布式日志收集框架。③Flume是用Java编写的分布式实时日志收集框架。数据存储组件：HDFS (Hadoop Distributed File System)用Java编写，是谷歌的GFS（Google File S ystem）的一种
转载
2023-07-20 21:08:44
893阅读
在大数据领域，构建一个高效稳定的大数据架构框架是非常重要的。大数据架构框架可以帮助我们管理和处理海量的数据，提高数据处理的效率和准确性。在本文中，我将介绍如何使用Kubernetes（K8S）这一容器编排平台来构建大数据架构框架。
**整体流程**
首先，让我们来看一下整个构建大数据架构框架的流程。可以通过下表来展示这个流程：
| 步骤 | 操作 |
|-----|------|
| 1 |
原创
2024-04-24 12:06:24
15阅读
# Java大数据框架介绍及示例
## 1. 引言
随着大数据技术的快速发展，Java成为了大数据领域最常用的编程语言之一。Java拥有强大的跨平台特性和丰富的类库支持，适用于大数据处理和分析的各个环节。本文将介绍几个常用的Java大数据框架，并提供相应的代码示例。
## 2. Hadoop
Hadoop是Apache基金会的一个开源项目，它提供了分布式存储和计算框架，用于处理大规模数据集
原创
2023-08-22 05:06:37
186阅读
# 如何使用 Java 实现大数据框架
在今天的信息时代，大数据的处理和分析变得越来越重要。作为一名初学者，你可能会感到无从下手。本文将逐步教你如何使用 Java 来实现一个简单的大数据框架。我们将通过一个表格清晰地列出整个流程，并在每一步详细讲解所需的代码。
## 整体流程
我们可以将大数据框架的搭建流程分为以下几个步骤：
| 步骤 | 描述
原创
2024-09-05 04:54:01
53阅读
# 大数据Java框架
## 引言
随着社会信息化的发展，数据量呈指数级增长，如何高效地处理和分析这些大数据成为了当今重要的挑战之一。在大数据领域中，Java是一种非常流行的编程语言，许多大数据处理框架都是基于Java开发的。本文将介绍几个常用的大数据Java框架，并给出相关的代码示例，帮助读者更好地了解和使用这些框架。
## 1. Hadoop
Hadoop是Apache基金会开发的一个
原创
2023-09-21 20:24:50
75阅读
