PIE-SDK 二次开发PIE-SDK是一套PIE的可重用的通用的二次开发组件集，基于PIE-SDK我们可以进行组件式和插件式的二次开发，下面我将分别介绍如何使用PIE-SDK进行组件式和插件式的二次开发注：需要安装好vs2015以及PIE-SDK组件式二次开发为支持组件式二次开发，PIE-SDE为我们提供了MapControl、TOCControl、PageLayoutControl三个控件使用
转载
2024-09-24 11:28:17
59阅读
文章目录一、 RDD 概述1.1 RDD 引入之IO流1.2 什么是 RDD1.3 RDD 特性二、RDD 编程2.1 编程模型2.2 RDD的创建及分区数指定2.3 Transformation 转换算子 *2.3.1 Value类型2.3.2 双Value类型2.3.3 Key-Value 类型2.4 Action 行动算子2.5 RDD 序列化2.6 RDD 依赖关系2.7 Spark 任
转载
2024-03-26 16:37:42
22阅读
# 大数据处理技术的探索：Hadoop、Hive、HBase与Spark
在当今信息爆炸的时代，大数据的处理与分析显得尤为重要。随着互联网的快速发展，数据量呈爆炸式增长，如何高效存储、处理和分析这些数据成为了一个紧迫的课题。本文将介绍几个重要的大数据技术——Hadoop、Hive、HBase和Spark，并通过代码示例深入理解这些技术的应用。
## 1. Hadoop概述
Hadoop是一个
在大数据计算引擎当中，Spark不能忽视的一个重要技术框架，Spark继承了Hadoop MapReduce的优势，同时实现了计算效率的提升，满足更加实时性的数据处理需求。今天我们就来讲讲Spark生态圈入门。Spark在设计之初，就是围绕速度、易用性和复杂分析来研发的，当时的背景下，就是MapReduce在实时数据处理上有明显的不足，已经很难满足很多业务场景下的需求。Spark生态圈核心组件围绕
转载
2024-01-10 17:46:50
4阅读
近几年，大数据及人工智能技术应用范围持续扩张，各行各业都在积极拥抱技术变革驱动营销升级。尤其在争夺细分场景下用户的有限在线时间份额及注意力，建立品牌与用户间的长效联系等方面，数据的重要性有目共睹。但在具体的营销实践中，数据资产是否被充分开发利用，平台数据打通能否真正可以“无障碍”地为品牌营销赋能，成为目前制约大数据营销潜力进一步释放的关键问题。1“数据打通”不等于“数据共融”自2005年菲利普·科
转载
2023-11-01 22:58:17
84阅读
HDFS: 用于存放一切信息的分布式的文件系统。大数据系统由于其涉及到的数据量较大所以往往需要仰赖于一个数据仓库系统，将所有的数据能够分门别类地存储起来，而HDFS就是这样一个仓库。需要注意一点，HDFS并不是我们通常实际用来查询或者处理数据的数据仓库组件，其更像是仓库本身，是一个偏硬件，偏系统化的概念，用于将所有的信息都囊括进去。MapReduce: 软件框架，编写程序。用于实际进行计算数据
转载
2024-01-15 17:48:21
47阅读
大数据开发面试笔记本篇博客是本人学习大数据开发各种框架和经历各种面试总结的一些笔记，不全在面试中遇到，可以当做知识复习巩固，如果您希望查看重点，可以重点看kafka和flink相关的问题（本人在面试中遇到比较多），或者重点看在您的项目中出现比较多的框架。可以配合另一篇博客java面试笔记，会让您在面试中更有信心，希望能对您有启发。一、hadoop1、HDFS的写数据流程（1） 客户端通过 Dist
离线计算组件1.1 hive hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。但是在转换为MapReduce的计算过程中，计算速度
转载
2023-08-28 20:47:02
100阅读
Hadoop HADOOP是apache旗下的一套开源软件平台 提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 HADOOP的核心组件有 HDFS（分布式文件系统） ARN（运算资源调度系统） MAPREDUCE（分布式运算编程框架）重点组件： HDFS：分布式文件系统 MAPREDUCE：分布式运算程序开发框架 HIVE：基于大数据技术（文件系统+运算框架）的SQ
转载
2024-05-13 09:58:37
32阅读
Hadoop和大数据在人们对云计算这个词汇耳熟能详之后，大数据这个词汇又在最短时间内进入大众视野。云计算对于普通人来说就像云一样，一直没有机会能够真正感受到，而大数据则更加实际，是确确实实能够改变人们生活的事物。Hadoop从某个方面来说，与大数据结合得更加紧密，它就是为大数据而生的。大数据的定义“大数据”（big data），一个看似通俗直白、简单朴实的名词，却无疑成为了时下IT界最炙手可热的名
在当前大数据领域，Apache Spark 和 Hadoop 是两个非常流行的开源框架，可以帮助我们处理和分析海量数据。本文将通过一系列步骤来向刚入行的小白介绍如何实现“大数据 spark hadoop”。
### 步骤概览
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 安装 Hadoop |
| 2 | 安装 Spark |
| 3 | 准备数据 |
| 4 | 使用
原创
2024-05-30 10:00:26
78阅读
apache大数据数仓各组件部署搭建第一章 环境准备1. 机器规划准备3台服务器用于集群部署，系统建议CentOS7+，2核8G内存172.19.195.228 hadoop101 172.19.195.229 hadoop102 172.19.195.230 hadoop103[root@hadoop101 ~]# cat /etc/redhat-release
CentOS Linux re
转载
2023-12-08 23:17:58
32阅读
# 实现大数据组件Hive的步骤
作为一名经验丰富的开发者，我将教会你如何实现大数据组件Hive。下面是整个过程的步骤表格：
| 步骤 | 动作 |
| --- | --- |
| 步骤一 | 安装Hadoop |
| 步骤二 | 配置Hadoop |
| 步骤三 | 安装Hive |
| 步骤四 | 配置Hive |
现在让我逐步告诉你每个步骤需要做什么。
## 步骤一：安装Hadoop
原创
2024-01-17 07:28:26
41阅读
NameNode：NameNode 是 HDFS 的主节点，负责管理文件系统的元数据，包括文件和目录的结构、文件到数据
原创
2024-04-13 22:31:45
113阅读
Hive on Spark是Hive既作为存储又负责sql的解析优化，Spark负责执行。这里Hive的执行引擎变成了Spark，不再是MR，这个要实现比Spark on Hive麻烦很多, 必须重新编译你的spark和导入jar包，不过目前大部分使用的确实是spark on hive。
原创
2022-06-18 00:22:46
560阅读
3图
大数据从概念走向落地，得益于大数据技术的成熟，尤其是以Hadoop为代表的第一代大数据系统框架，为大数据在企业当中的现实落地，提供了稳固的技术支持，而随着大数据的发展，大数据技术也在更新迭代。今天我们来聊聊大数据技术从Hadoop到Spark的发展概况。大数据技术产生背景大数据的应用和技术起源于互联网，首先是网站和网页的爆发式增长，搜索引擎公司最早感受到了海量数据带来的技术上的挑战，典型的就是Go
转载
2023-10-24 01:25:52
45阅读
Elasticsearch大规模数据的检索1、存储数据时按有序存储； 2、将数据和索引分离； 3、压缩数据；ES数据架构的主要概念（与关系数据库Mysql对比）（1）关系型数据库中的数据库（DataBase），等价于ES中的索引（Index） （2）一个数据库下面有N张表（Table），等价于1个索引Index下面有N多类型（Type） （3）一个数据库表（Table）下的数据由多行（ROW）多列
转载
2023-12-25 10:44:50
46阅读
在大数据方兴未艾之际，越来越多的技术被引进大数据领域。从多年前的mapreduce到现在非常流行的spark，spark自从出现以来就逐渐有替代mapreduce的趋势。既然如此，spark到底有什么过人之处？这么备受青睐?一、Spark是什么？Spark是一种通用的大数据计算框架，和传统的大数据技术MapReduce有本质区别。前者是基于内存并行计算的框架，而mapreduce侧重磁盘计算。Sp
转载
2023-07-12 12:33:02
158阅读
大数据集群安装写在前头集群安装部署HadoopHA与ZOOKEEPERHBASEHIVEFLUMEKAFKASPARKKylinKafka-eagel问题排查 写在前头本文就是一些个人安装 Apache Hadoop集群（包括其一些生态组件）时的一些过程。集群安装部署Hadoop确定集群数，最好为奇数台修改hosts文件映射（最好保证机器的ip为静态ip）上传Hadoop，jdk压缩包，并解压配
转载
2023-07-12 14:44:41
45阅读
文章目录1. 分布式文件系统（HDFS）1）NameNode2）SecondaryNode2. 资源管理调度框架Yarn1）ResourceManager2）ApplicationMaster3）NodeManager4）Container3. 分布式协调服务ZooKeeper4. 数据仓库工具Hive1）HiveServer25. 分布式计算框架Spark1）Spark SQL2）Spark
转载
2023-08-31 19:05:30
127阅读
