Mybatis和Hibernate都是优秀的开源框架，它们都支持jdbc并且拥有缓存机制。那它们有什么区别呢？本次就对Hibernate和Mybatis做一个简单的对比。1. mybatis是不完全的orm框架，实现sql语句与java代码相分离，灵活度较高，适合需求变化多的项目。2. hibernate是ORM框架，以完全面向对象的方式操作数据库，数据库无关性好，但对sql的优化和修改比较困难，
转载
2024-08-10 09:56:11
32阅读
Hive知识点1.概念1.1Hive和Hadoop的关系1.2什么是Hive1.3Hive的本质1.4Hive应用场合2.Hive架构3.Hive PK RDMBS 1.概念1.1Hive和Hadoop的关系Hadoop：HDFS、MR、YRAN Hive 处理的数据存储在HDFS 分析数据底层的实现MR 执行程序运行用YARN相当于Hive将Hadoop进行了封装1.2什么是Hive1.Hiv
转载
2023-07-12 14:29:13
63阅读
什么是HDFSHDFS是一个使用Java实现的、分布式的、可横向扩展的文件系统。是Hadoop的核心组件基于Linux/NiunxHDFS和Hadoop的关系Hadoop：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 HDFS: Hadoop实现了一个分布式文件系统（Hadoop Distributed
转载
2023-08-18 20:52:46
157阅读
1. 试述Hadoop和谷歌的MapReduce、GFS等技术之间的关系。Hadoop 是一个开源的分布式计算框架，其主要目的是为了处理大规模数据集。它包含了分布式文件系统 HDFS 和分布式计算框架 MapReduce，被广泛应用于大数据处理领域。谷歌的 MapReduce 和 GFS 技术则是 Hadoop 的灵感来源。MapReduce 是一种用于处理大规模数据集的编程模型和算法，它将数据分
转载
2023-11-30 06:18:51
747阅读
什么是ETL：即extract：提取transform：转换load：加载ETL其实是数据清洗后的数据 什么是数据中台：从抽取数据开始，到最终用户看到，这一系列过程都是数据中台；指的是一套数据应用和工具，包括分布式ETL、数据资产管理、数据标签管理、数据沙箱、自助分析平台、元数据管理、数据质量管理等等，底层则已现有的数仓、大数据平台等为数据源，为企业提供数据资产管理的能力，并持续挖掘数据
转载
2023-07-11 22:42:02
204阅读
1.1 Spark 是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark and Hadoop在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架 Spark 呢，这里就不得不提到 Spark 和 Hadoop 的关系。 搜图 编辑 请输入图片描述首先从时间节点上来看:➢ Hadoop2006 年
转载
2023-07-25 00:26:46
80阅读
Hadoop：是一个分布式计算的开源框架HDFS：是Hadoop的三大核心组件之一Hive：用户处理存储在HDFS中的数据，hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。Hbase：是一款基于HDFS的数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。Hive与HBase的区别与联系区别：Hi
转载
2023-06-12 19:47:19
310阅读
实习期间使用了两个月的odps ，之后升级用Hadoop 的Hive ，让我对数据库与数据仓库增进了一些理解，记录下来。简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓
转载
2023-09-07 19:41:14
222阅读
之前尝试使用过一些国内外的云产品，特别是大数据分析型产品，例如：亚马逊的EMR、Redshift，Google的Bigquery以及阿里云的ODPS，现在更名为MaxCompute，https://www.aliyun.com/product/odps。相信大多数人对亚马逊的EMR、Redshift，Google的Bigquery都比较了解。但在尝试使用ODPS后，ODPS感觉也是一款不错的大
转载
2024-01-09 21:53:48
103阅读
作为这几年热度颇高的一款开源产品，ClickHouse在国内的互联网大厂也陆续有被使用。在大数据开发学习阶段，也不妨多了解一下ClickHouse，下面我们主要来对ClickHouse架构做个简单的介绍。ClickHouse技术背景ClickHouse是基于MPP架构的分布式ROLAP（Relational OLAP）分析引擎。采用C++编写，自成一套体系，对第三方工具依赖少。支持较完整的DDL和
转载
2024-01-25 21:05:53
54阅读
说起Hadoop，玩大数据的没有一个不知道，Hadoop是由Apache基金会所开发的一个分布式系统基础架构，包含分布式文件系统HDFS（HadoopDistributed FileSystem）、分布式计算框架MapReduce、HIve数据仓库、Avro序列化工具等。而今天我们要给大家介绍一位新朋友Hbase，它是基于HDFS的非关系型大数据（非常适合存储，因为可以像HDFS一样做到存储的线性
转载
2023-10-22 16:33:29
82阅读
Kafka简介Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是k
转载
2023-12-14 15:30:32
104阅读
Hadoop 2.0的本质 很多人提到Hadoop首先想到的是Map/Reduce，其实从2.0开始Hadoop已经从单纯的分布式M/R计算框架变成了 通用分布式框架 。
上图是Hadoop2.0的技术栈，在Hadoop 2.0中Hadoop底层划分为YARN和HDFS两个部分。YARN提供了集群资源管理，HDFS提供了分布式存储。在此之上开发出来的应用被称为 Applicat
转载
2024-01-23 22:34:53
75阅读
一、Storm基本概念 在运行一个Storm任务之前，需要了解一些概念： Topologies Streams Spouts Bolts Stream groupings Reliability Tasks Workers Configuration Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，而在Storm上运行的是拓扑（topolog
转载
2023-07-20 17:38:23
74阅读
ODPS(Open Data Processing Service)是一个海量数据处理平台，基于阿里巴巴自主研发的分布式操作系统(飞天)开发，是公司云计算整体解决方案中最核心的主力产品之一。本文结合作者多年的数仓开发经验，结合ODPS平台分享数据仓库中的SQL优化经验。背景数据仓库，是一个面向主题、集成的、随时间变化的、信息本身相对稳定的数据集合。数据仓库从Oracle（单机、RAC)，到MPP(
转载
2023-12-19 20:58:41
127阅读
OceanBase是什么 OceanBase是一个支持海量数据的高性能数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。OceanBase解决什么问题 一个思路是通过类似map-reduce模型进行处理，例如Google的 GFS+MapReduce以及Hadoop的HDFS+MapReduce。这类方式为离线数据
转载
2023-08-30 22:38:00
202阅读
Java-API对HDFS的操作哈哈哈哈，深夜来一波干货哦！！！Java-PAI对hdfs的操作，首先我们建一个maven项目，我主要说，我们可以通过Java代码来对HDFS的具体信息的打印，然后用java代码实现上传文件和下载文件，以及对文件的增删。首先来介绍下如何将java代码和HDFS联系起来，HDFS是分布式文件系统,说通俗点就是用的存储的数据库,是hadoop
转载
2023-07-24 10:21:38
58阅读
目录 kafka概述kafka特性和应用场景kafka基本架构及原理Zookeeper在kafka的作用Kafka核心组件Kafka备份机制kafka的安装配置（所有节点）kafka概述Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据
转载
2023-11-07 16:42:38
166阅读
Hadoop、HDFSHadoop介绍Hadoop 狭义上是指软件，广义上Hadoop指生态圈Hadoop之父Doug CuttingHadoop核心组件Hadoop HDFS（分布式文件存储系统）：解决海量数据存储；处于生态圈的低层和核心地位Hadoop YARN（集群资源管理和任务调度框架）：解决资源任务调度，支撑各种计算引擎运行，保证了Hadoop地位Hadoop MapReduce(分布式
转载
2023-08-18 19:26:33
81阅读
目录一、概述二、核心组件三、Pattern API1）个体模式（Individual Patterns）1、量词2、条件2）组合模式（Combining Patterns，也叫模式序列）1、事件之间的连续策略2、循环模式中的连续性3）模式组（Group of Pattern）匹配后跳过策略四、Pattern检测五、Flink CEP应用场景六、安装Kafka（window）1）下载kafka2）配
转载
2023-08-27 21:53:35
94阅读
