一、了解Hadoop关于Hadoop的官方说明是：Apache Hadoop 是一款支持 数据密集型 分布式 应用程序并以 Apache 2.0 许可协议发布的 开源软体框架。拆开来说，其中包含学习 Hadoop 必须要理解的三个知识点：（1）Hadoop是一个框架； （2）可以用来处理大规模数据； （3）Hadoop被部署在集群上。二、Hadoop传统意义上，我们常说的Hadoop是包含了 Co
转载
2023-07-20 17:52:00
553阅读
大数据系列(一)之hadoop介绍及集群搭建系列介绍:本系列针对大数据这门综合技术逐一展开。大数据必备技术栈hadoop简介大数据技术涉及两方面，一是数据存储，二是数据运算 hadoop是一种分布式框架，可利用集群对用户业务逻辑海量数据进行分布式处理，hadoop是一个生态圈，跟springcloud概念类似，包含多种技术，如下表组件技术描述hdfs分布式文件系统MapReduce分布式计算框架Y
转载
2023-09-09 19:04:17
243阅读
编辑导读：企业每天生产众多的数据，这些数据要经过分析才能对业务、运营等产生价值。而大数据平台就是了满足企业对于数据的各种要求而产生的。如何构建一个大数据平台，取决于企业的数据化程度和面临的数据问题。本文作者将以在线教育为例，分析如何从0到1构建大数据平台，与你分享。 第一篇文章，按照惯例先做个自我介
原创
2023-06-12 09:55:04
369阅读
最热门的大数据技术：hadoop大数据平台搭建：①通过Kafka作为统一采集平台的消息管理层，灵活的对接、适配各种数据源采集（如集成flume），提供灵活、可配置的数据采集能力。②利用spark和hadoop技术，构建大数据平台最为核心的基础数据的存储、处理能力中心，提供强大的数据处理能力，满足数据的交互需求。同时通过sparkstreaming，可以有效满足企业实时数据的要求，构建企业发展的实时
转载
2023-07-25 16:00:18
135阅读
大数据是以互联网为基础的。数据仓库、数据挖掘、云计算等互联网技术的发展为大数据的应用奠定了基础。对于任何一个大数据从业者来说，新的接触，或者会有一种共同的感觉：大数据是非常有用的！那么如何构建大数据分析平台已经成为当前研究的焦点。 大数据并不是一场市场炒作。对于许多跨多个垂直的组织而言，大数据是真实存在的，而且它正在改变数据中心的架构。随着数据量、数据处理速度和数据类型的复杂度以
转载
2023-11-01 23:01:57
195阅读
本次视频直播的整理文章整理完毕，如下内容。数据分析和机器学习大数据基本都是建立在Hadoop系统的生态上的，其实一个Java的环境。很多人喜欢用Python和R来进行数据分析，但是这往往对应一些小数据的问题，或者本地数据处理的问题。如何将二者进行结合使其具有更大的价值？Hadoop现有的生态系统和现有的Python环境如上图所示。MaxComputeMaxCompute是面向离线计算的大数据平台，
转载
2024-06-05 08:46:32
127阅读
1、安装环境vmware、centos 7、jdk 1.8、scala 2.12.11、hadoop 3.1.3、spark 3.0.0（spark 版本对 jdk、scala 版本有要求，详见官方文档）2、运行环境搭建该部分主要是 vmware的安装、centos 7 的安装和配置、 jdk、sdk 的安装以及系统变量的配置。 对于centos 7的配置主要是设置静态 IP 地址。在虚
转载
2024-02-26 20:45:37
133阅读
目录实验环境：实验步骤：一、解压二、配置环境变量： 三、修改配置文件 1.修改spark-env.sh配置文件：2.修改配置文件slaves:3.分发配置文件：四、测试：五、网页测试： 六、解决能启动Spark Shell但是报错：七、安装python3.6八、Jupyter Notebook1.安装pip2.安装jupyter3.配置环境变量4.创建Jupyter默
转载
2024-02-26 20:28:36
69阅读
传统的离线计算常见问题是数据反馈慢，无法满足客户进行实时数据做决策的需求。如果说MapReduce计算框架的出现是为了解决离线计算问题，那么Spark计算框架的出现则解决了实时计算问题，接下来先初步认识Spark内存计算框架。2009年加州大学伯克利分校AMP实验室提出one stack to rule them all的目标，即在一套软件栈内完成各种大数据分析任务。目前，Spark 已经成为Ap
通过汇聚市区两级数据资源，推动公共数据完整归集，在数据标准及数据安全完全可控的基础上，有序推进公共数据的共享及开放，聚焦服务赋能，驱动数据应用，使能高效协同，全面推进本区“一网通办” 政务服务。 加快推进
与承接
X
市
大
数据资源平台的落地数据资源 逐步
构建形成
本
区
公共数据汇聚、整合、共享、应用、展示、评价为“六
转载
2023-09-07 12:57:10
233阅读
如今企业对于数据的需求已经不单单需要一个大数据底层和大数据存储的方案，而是想要从数据获取到大数据全链条端到端整体的解决方案。人类对数据的管理挖掘和需求越来越旺盛，在解决问题的时候，牵扯到的数据量和维度也是不断爆炸、不断增长的，如何更好、更轻松地挖掘和管理数据是如今面临的最大问题。 随着系统的不断增加和积累，沉淀在系统深处的数据也更加难以提取和整合，后期的报表展示和可视化分析也就成
转载
2023-08-20 15:00:48
98阅读
大数据开发环境无外乎是离线和实时两套开发环境，不过目前已经流行实时数仓体系的搭建了，但是底层主要还是Hadoop集群环境，给予Hadoop集群的spark集群，以及hive、flink等中间件的搭建。本篇文章主要是搭建伪分布式的hadoop集群以及spark集群，并安装hive、flink等离线和实时的开发中间件，并测试demo。Hadoop伪分布式集群搭建环境与依赖 JDK：1.8
转载
2023-11-13 22:02:47
97阅读
文章目录前言一、spark简介二、Spark2.2编译1.下载maven2.配置maven环境遍量3.配置resolv.com4.下载spark2.2.0并编译5.进入界面总结 前言本来是不想写这篇博客的，但是我找了好久都是直接使用spark的，没有编译spark的，所以还是觉得写一篇如何编译spark的文章以供参考，本次采用的spark2.2.0版本的，需要jdk1.8，详细安装看我前面文章。
转载
2023-12-07 10:23:48
51阅读
大数据技术的广泛应用使得大数据平台成为了企业中不可或缺的一部分，而Spark作为大数据处理中的瑞士军刀，其任务的监控和调试显得尤为重要。本文将介绍如何使用大数据平台来查看Spark任务，并提供相应的代码示例。
## 什么是大数据平台？
大数据平台是一种集成了多种大数据技术的软件平台，它能够处理规模庞大、多样化的数据，提供高性能、高可用性的数据处理服务。大数据平台通常包括数据存储、数据处理、数据
原创
2023-12-21 10:07:28
65阅读
Hadoop大数据平台构建与应用第一章 大数据与Hadoop平台技术 文章目录Hadoop大数据平台构建与应用前言一、大数据时代二、大数据关键技术三、大数据涉及的主要软件四、Hadoop平台技术的生态总结 前言1、熟悉 Hadoop平台技术的生态环境 2、熟悉 熟悉大数据关键技术 3、了解 大数据主要技术 4、了解 大数据的特点、应用领域一、大数据时代大数据就是海量资料或者称巨量资料，这些巨量资料
转载
2023-08-30 21:24:18
142阅读
QStreaming 背景首先在进入主题之前我们先来回顾下经典的大数据 ETL 架构有哪些？1. Lambda 架构2. Kappa 架构3. 混合架构它们之间的区别如下：七牛的大数据平台在搭建过程中也经历了上面几个架构的变迁，也就是从最早的 Lambda 架构，到尝试使用 Kappa 架构，再到后面的新型混合 ETL 架构，为了满足业务需求，开发人员在这几个架构中进行折中选择，但是我们发现上面几
转载
2023-11-20 11:21:07
79阅读
cover简介：DataWorks 是阿里云重要的 PaaS 平台产品，提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。MaxCompute 是适用于数据分析场景的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化
原创
2022-03-15 10:47:27
1811阅读
构建大数据云服务平台流程
作为一名经验丰富的开发者，我来教你如何实现构建大数据云服务平台的流程。下面是整个流程的步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 确定需求，设计架构 |
| 步骤2 | 搭建云平台基础设施 |
| 步骤3 | 集成大数据处理框架 |
| 步骤4 | 构建数据存储和计算模块 |
| 步骤5 | 设计和开发数据管理和调度模块 |
| 步
原创
2023-10-11 09:49:21
125阅读
一.hadoop简介Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储。MapReduce为海量的数据提供了计算。Hadoop框架包括以下四个模块：Hadoop Common: 这些是其他Hadoop模块所需的Java库和实用程序。这些库提供文件系统和操作系统级抽象，并包含启动Hadoop所需的Java文件和脚本。Hadoop YARN: 这是一个用于
转载
2023-09-14 13:23:15
125阅读
一、Hadoop 介绍 Apache Hadoop项目为可靠的、可扩展的分布式计算开发了开源软件。 Apache Hadoop软件库是一个框架，它允许使用简单的编程模型在计算机集群中对大型数据集进行分布式处理。它被设计成从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储
转载
2024-05-29 13:34:25
20阅读
