Andrew C. Oliver是养猫达人，副业是软件顾问。他是Mammoth Data公司（前身是Open Software Integrators）总裁兼创始人，这家大数据咨询公司的总部设在北卡罗来纳州达勒姆。 令人惊讶的是，Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分，以及它们各自具有的意义。对于Hadoop你需要了解的最重要的事情就是，它不再是原来的
在现代大数据处理领域，Spark和Hadoop是两个非常流行的框架。Spark是一个快速、通用、可扩展的集群计算系统，而Hadoop是一个用于存储和处理大规模数据的开源软件框架。很多人都会问，Spark是否可以替代Hadoop？本文将从技术角度回答这个问题，并给出相关的代码示例。
首先，我们需要了解一下整个流程，以便小白开发者能够明白如何实现“spark可以替代hadoop吗”。
| 步骤 |
原创
2024-05-08 10:30:00
104阅读
# Flink 可以替代 Spark 吗？
## 一、流程概述
在开始讨论是否可以用 Flink 替代 Spark 之前，首先我们需要了解 Flink 和 Spark 各自的特点和适用场景。Flink 是一个流式计算引擎，特点是低延迟、高吞吐量，在处理实时数据时表现出色；而 Spark 是一个通用的大数据处理框架，支持批处理、交互式查询和流式处理，适用于多种场景。如果你有实时处理需求且对性能有较
原创
2024-05-08 10:29:42
111阅读
导读继续前期依次推文PySpark入门和SQL DataFrame简介的基础上，今日对Spark中最重要的一个概念——RDD进行介绍。虽然在Spark中，基于RDD的其他4大组件更为常用，但作为Spark core中的核心数据抽象，RDD是必须深刻理解的基础概念。01 何为RDDRDD（Resilient Distributed Dataset），弹性分布式数据集，是Spark core中的核心数
转载
2024-06-27 10:26:18
54阅读
数仓特征：面向主题，集成，非易失的，时变。数据仓库是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，不是所谓的“大型数据库”。 数据库与数据仓库的区别（OLTP 与 OLAP 的区别） 操作型处理，叫联机事务处理 OLTP（On-Line Transaction Processing，），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通
转载
2024-01-17 08:30:07
392阅读
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。然而，最近业界有一些人正在大张旗鼓的宣扬Hadoop将死，Spark将立。他们究竟是危言耸听？哗众取宠？还是眼光独到堪破未来呢?与Hadoop相比，Spark技术如何?现工业界大数据技术都在使用何种技术?如果现在想要参加大数据培训的话，应该从哪一种开始呢? （1）先说二者之间的区别吧。首先，Hadoop与Sp
转载
2024-06-19 10:33:22
48阅读
当我第一次听到flink的时候这是我是非常怀疑的。在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需求。 自从Apache spark出现后，貌似已经成为当今把大部分的问题解决得最好的框架了，所以我对另外一款解决类似问题的框架持有很强烈的怀疑态度。 不过因为好奇，我花费了数个星期在尝试了解flink。 一开始仔细看了flink的几个例子，感觉和spark非常类似，
转载
2023-08-25 22:13:57
257阅读
Flink和Spark对比通过学习，我们了解到，Spark和Flink都支持批处理和流处理，接下来让我们对这两种流行的数据处理框架在各方面进行对比。首先，这两个数据处理框架有很多相同点。•都基于内存计算；•都有统一的批处理和流处理APl，都支持类似SQL的编程接口；•都支持很多相同的转换操作，编程都是用类似于Scala Collection APl的函数式编程模式；•都有完善的错误恢复机制；•都支
转载
2023-10-01 15:35:41
112阅读
框架版本号Hadoop3.1.3Hive3.1.2Tez0.10.1tez是一个Hive的运行引擎，性能优于MR。为什么优于MR呢？看下图。 用Hive直接编写MR程序，假设有四个有依赖关系的MR作业， 上图中，绿色是ReduceTask，云状表示写屏蔽，需要将中间结果持久化写到HDFS。 Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性
转载
2024-06-05 11:49:37
76阅读
据Gartner称 ， 到2021年 ， 80％的成功CDO将创造价值或创造收入作为其第一优先事项。为了在组织的数据环境中创造最大价值，传统的决策支持系统架构已不再适用。 需要开发新的架构模式以利用数据的力量。 为了充分发挥使用大数据的价值，组织需要拥有灵活的数据架构，并能够从数据生态系统中获取最大价值。Data Lake概念已经出现了一段时间。 但是，我看到组织很难理解这个概念，因为
hive 是以hadoop为基础的数据仓库，使用HQL查询存放在HDFS上面的数据，HSQL是一种类SQL的语句，最终会被编译成map/reduce，HSQL可以查询HDFS上面的数据；不支持记录级别的插入，更新或者删除，但用户可以通过查询生产新表或者将查询文件保存在文件中。同时由于hadoop是面向批处理的系统，而mapreduce任务（job）的启动过程需要消耗较多的时间，所以hive查询延迟
转载
2023-09-18 18:22:17
196阅读
作者介绍 孙赵宏，2018年4月加入去哪儿网，后端大数据研发工程师，目前在大住宿事业部/公共技术中心负责用户基础行为数据工程的研发。本文会主要介绍下基于 Flink 构建用户实时基础行为工程的相关实践，包括 Flink 相关的技术点和基础行为实时工程的业务。Flink 是目前 Qunar 主推的实时数据处理开源平台，用于替代 Spark Streaming。如果你们使用 Flink 也是和我们之前
转载
2023-08-04 16:20:31
113阅读
在上一章节中，我们讲到实时数仓的建设，互联网大数据技术发展到今天，各个领域基本已经成熟，有各式各样的解决方案可以供我们选择。在实时数仓建设中，解决方案成熟，消息队列Kafka、Redis、Hbase鲜有敌手，几乎已成垄断之势。而OLAP的选择则制约整个实时数仓的能力。开源盛世的今天，可以供我们选择和使用的OLAP数据库令人眼花缭乱，这章我们选取了几个最常用的OLAP开源数据引擎进行分析，希望能给正
转载
2024-05-25 18:29:05
385阅读
# 用Spark SQL替代Hive on Tez性能提升指南
在大数据处理领域，Hive和Tez是一种常见的数据处理框架。然而，当面对数据的高吞吐量和大规模计算时，Spark SQL可以提供更好的性能和更灵活的编程模型。本文将指导您如何将Spark SQL替代Hive on Tez，实现性能提升的目标。
## 整体流程
下面是将Spark SQL替代Hive on Tez的整个实施流程：
爱生活，爱Python，Python，无所不能。最近两三年，大家经常会在各种地方看到学Python,实现办公自动化的广告。那么Python到底是个什么东西了？Python是一种编程语言，它的特点是语法简介，优雅，简单易学，只用几天，谁都可以入门并应用。根据相关权威平台的统计，Python从2019年开始已经成为最火爆的编程语言。听到编程，可能很多朋友就失去兴趣了，觉得那不是程序员，IT人员做的事吗
转载
2023-09-21 09:28:13
84阅读
# Doris能替代Hive吗？ 初学者指南
随着大数据技术的发展，许多企业开始寻求更高效的数据处理工具。Doris（Apache Doris）作为一种新兴的分布式MPP数据库，正在逐渐取代传统的数据处理工具，如Hive。对于刚入行的小白来说，理解Doris如何能够替代Hive是非常重要的。本文将为你提供一个详细的实现步骤，并通过表格、代码示例以及图表来帮助你理解。
## 实现流程概述
我们
Doris 前身是 Palo ，Palo 是百度自研的基于 MPP 的交互式 SQL 数据仓库，主要用于解决报表和多维分析。它主要集成了 Google Mesa 和 Cloudera Impala 技术。根据最新的 Apache 基金会邮件列表，百度开源项目 Doris 已全票通过投票，正式成为 Apache 基金会的孵化器项目。投票结果是，在包含 8 个约束性投票(binding vo
# Spark使用Hive UDF的实现流程
在大数据处理中，Apache Spark和Apache Hive是两个广泛使用的工具。Spark以其快速的数据处理能力而闻名，而Hive则方便用户通过类SQL的方式处理结构化数据。实现Spark中使用Hive的自定义函数（UDF），可以让我们在Spark中享受Hive自定义函数的强大功能。本文将详细介绍整个流程。
## 整体流程
以下是使用Spa
# OpenJDK vs JDK: 可以替代吗？
## 简介
在Java开发中，我们经常会听到OpenJDK和JDK这两个概念。OpenJDK是一个开源的Java开发工具包，而JDK（Java Development Kit）是Oracle提供的官方Java开发工具包。那么，OpenJDK能否替代JDK呢？让我们一起来探讨这个问题。
### 流程
下面是替代JDK使用OpenJDK的步骤：
原创
2024-05-15 10:40:05
1293阅读
## ES可以替代MongoDB吗？
在当今的开发环境中，Elasticsearch（ES）和MongoDB都是非常流行的数据库选择。对于刚入行的开发者来说，可能会有疑问：“ES可以替代MongoDB吗？”实际上，二者都是不同类型的数据库，适用于不同的场景。本文将带你了解怎样在一定条件下使用ES来替代MongoDB，并提供详细的实施步骤。
### 流程图
首先，我们将功能替代的过程分为几个步
