在大数据计算引擎当中，Spark不能忽视的一个重要技术框架，Spark继承了Hadoop MapReduce的优势，同时实现了计算效率的提升，满足更加实时性的数据处理需求。今天我们就来讲讲Spark生态圈入门。Spark在设计之初，就是围绕速度、易用性和复杂分析来研发的，当时的背景下，就是MapReduce在实时数据处理上有明显的不足，已经很难满足很多业务场景下的需求。Spark生态圈核心组件围绕
转载
2024-01-10 17:46:50
4阅读
# 大数据处理技术的探索：Hadoop、Hive、HBase与Spark
在当今信息爆炸的时代，大数据的处理与分析显得尤为重要。随着互联网的快速发展，数据量呈爆炸式增长，如何高效存储、处理和分析这些数据成为了一个紧迫的课题。本文将介绍几个重要的大数据技术——Hadoop、Hive、HBase和Spark，并通过代码示例深入理解这些技术的应用。
## 1. Hadoop概述
Hadoop是一个
# 大数据离线架构实现指南：Hive 和 Spark
随着大数据技术的迅猛发展，越来越多的企业开始使用基于Hive和Spark的大数据离线架构来处理海量的数据。接下来，本文将帮助你从零开始理解如何实现这样的架构。
## 整体流程
以下是构建Hive与Spark大数据离线架构的基本流程：
| 步骤 | 描述 |
|------|------|
| 1 | 环境准备：安装Hive和Spa
原创
2024-09-07 06:35:39
125阅读
近几年，大数据及人工智能技术应用范围持续扩张，各行各业都在积极拥抱技术变革驱动营销升级。尤其在争夺细分场景下用户的有限在线时间份额及注意力，建立品牌与用户间的长效联系等方面，数据的重要性有目共睹。但在具体的营销实践中，数据资产是否被充分开发利用，平台数据打通能否真正可以“无障碍”地为品牌营销赋能，成为目前制约大数据营销潜力进一步释放的关键问题。1“数据打通”不等于“数据共融”自2005年菲利普·科
转载
2023-11-01 22:58:17
84阅读
# 大数据离线架构：Hive、Spark与Kafka的结合
随着信息技术的快速发展，数据的产生速度和规模不断攀升。企业在面对海量数据时，如何进行有效管理和分析，成为了一个亟待解决的问题。本文将探讨大数据离线架构的关键工具与技术，主要集中于Hive、Spark和Kafka。
## 一、技术介绍
### 1. Hive
Apache Hive 是一个用于数据仓库的框架，能够提供对大规模数据集的
原创
2024-09-04 06:33:44
62阅读
PIE-SDK 二次开发PIE-SDK是一套PIE的可重用的通用的二次开发组件集，基于PIE-SDK我们可以进行组件式和插件式的二次开发，下面我将分别介绍如何使用PIE-SDK进行组件式和插件式的二次开发注：需要安装好vs2015以及PIE-SDK组件式二次开发为支持组件式二次开发，PIE-SDE为我们提供了MapControl、TOCControl、PageLayoutControl三个控件使用
转载
2024-09-24 11:28:17
59阅读
Hive on Spark是Hive既作为存储又负责sql的解析优化，Spark负责执行。这里Hive的执行引擎变成了Spark，不再是MR，这个要实现比Spark on Hive麻烦很多, 必须重新编译你的spark和导入jar包，不过目前大部分使用的确实是spark on hive。
原创
2022-06-18 00:22:46
560阅读
3图
一、基本概念和用法SparkSQL还有一个能够使用JDBC从其他数据库读取数据的数据源。当使用JDBC访问其它数据库时，应该首选JdbcRDD。这是因为结果是以数据框（DataFrame）返回的，且这样SparkSQL操作轻松或便于连接其它数据源。因为这种JDBC数据源不需要用户提供ClassTag，所以它也更适合使用Java操作二、工具类1.jdbc连接工具类packagecom.web.zha
原创
2021-03-07 20:33:51
734阅读
一、问题背景
随着企业数据量的爆炸式增长，传统的 MySQL 数据库在处理大规模数据查询、分析和报表生成等场景中逐渐暴露出性能瓶颈。而大数据生态中的 Hive 和 Spark 等工具具备强大的分布式计算和批处理能力，适合处理海量数据。然而，MySQL 与大数据生态之间的数据孤岛问题，导致以下技术痛点：
数据同步延迟高：MySQL 中的业务数据需要定期同步到 Hadoop 生态系统中，手动或低效
第一章： 项目概述第二章： 项目架构2.1 技术选型2.2 架构选型会遇到的问题第三章：采集部分 3.1 查看flume源码 第一章：项目概述概述：处理的是APP的数据，处理一些用户行为（登录、登出），通过app的服务打点记录下来的数据用于商业分析。第二章：项目架构APP的服务器肯定是多台的，webserver产生很多日志，通过对用户行为进行打点，日志会落到约定的目录下，eg: /data/201
转载
2023-10-21 21:35:38
103阅读
大数据开发面试笔记本篇博客是本人学习大数据开发各种框架和经历各种面试总结的一些笔记，不全在面试中遇到，可以当做知识复习巩固，如果您希望查看重点，可以重点看kafka和flink相关的问题（本人在面试中遇到比较多），或者重点看在您的项目中出现比较多的框架。可以配合另一篇博客java面试笔记，会让您在面试中更有信心，希望能对您有启发。一、hadoop1、HDFS的写数据流程（1） 客户端通过 Dist
上次，小编给大家介绍什么是大数据以及大数据产生的五大原因！那，大数据来了，作为程序员的我们如何迎接大数据的到来？那便只有学好大数据，其中的重中之重我觉得就是Spark ，那什么是spark呢？或者说Spark是干嘛的 ...上次，小编给大家介绍什么是大数据以及大数据产生的五大原因！那，大数据来了，作为程序员的我们如何迎接大数据的到来？那便只有学好大数据，其中的重中之重我觉得就是Spark 
转载
2024-01-14 13:21:38
34阅读
用spark，你仅仅只是调用spark的API肯定是很low的。今天来讲讲spark的原理，并且会针对部分源码进行讲解，如有不同意见请联系本人交流探讨。目前大数据生态主要部分是Hadoop软件框架和Spark内存级计算引擎。Hadoop包含四个项目：Hadoop common，HDFS，YARN和MapReduce。 Spark并不是要成为一个大数据领域的“独裁者” ， 一个人霸占大数据领域所有的
转载
2023-09-14 08:03:50
125阅读
在大数据技术的学习当中，Hadoop和Spark是重中之重的两个部分，关于Hadoop，之前我们已经介绍过很多了，今天的主题是Spark。作为继Hadoop之后的又一代计算框架，Spark受到重用也是有原因的。今天的大数据开发学习分享，我们来对Spark系统架构做一个详细的介绍。 Spark性能优势的原因 Spark是UC Berkeley AMP lab所开源的类HadoopMapR
转载
2023-10-25 21:30:51
65阅读
#前言1.hive介绍##2. centos7安装mysql###### 目的：为了存储hive的元数据表，如果用hive自带的Derby库，起一个hive shell连接就要单独创建一个库，不能够共享元数据表。 ###### 1.直接yum安装没有源，所以先下载rpm包###### 2.查看当前可用的mysql安装资源 yum repolist enabled |
转载
2023-07-12 11:59:39
111阅读
问题描述集群默认计算引擎是 hive ，这两天自己试了一下 hive on spark 发现一个奇怪现象，首先 hive 引擎中文做简单查询或者聚合查询都正常，使用 spark 引擎简单查一个表的中文字段也没事，但是只要对 中文字段进行 group by 操作就乱码了问题解决在开启 spark session 后 加两个设置就好了set spark.executor.extraJavaOption
转载
2023-06-17 20:07:35
224阅读
【导读：数据是二十一世纪的石油，蕴含巨大价值，这是·情报通·大数据技术系列第[77]篇文章，欢迎阅读和收藏】1 基本概念与传统的 IO 相比， Spark IO 有很大区别。传统的数据存在单个计算机中，数据量少，而 Spark 的数据存储在集群中，数据量巨大。另外， Spark 需要考虑本地主机的 IO 开销，还需要顾虑到不同主机之间的传输开销。针对这些情况， Spark 就要制定一些机制，来解决
转载
2024-02-22 07:31:08
42阅读
http://spark.apache.org/
原创
2022-07-28 14:01:23
104阅读
# 大数据 Spark
## 引言
随着互联网的发展，我们已经进入了一个大数据时代。大数据的处理和分析是现代科学研究和商业决策的重要组成部分。然而，传统的数据处理和分析方法已经无法应对日益增长的数据量和复杂性。为了应对这一挑战，出现了许多大数据处理框架。其中，Apache Spark 是最受欢迎和广泛使用的框架之一。
## Spark 简介
Spark 是一个快速、分布式的计算引擎，最初由
原创
2024-01-24 05:20:17
42阅读
对于混合型工作负载，Spark可提供高速批处理和微批处理模式的流处理。该技术的支持更完善，具备各种集成库和工具，可实现灵活的集成。Flink提供了真正的流处理并具备批处理能力，通过深度优化可运行针对其他平台编写的任务，提供低延迟的处理，但实际应用方面还为时过早。
转载
2018-12-20 16:05:23
668阅读
点赞
