单机部署，java，hadoop，网上已经有太多的操作文章，这里也做一下记录，方便以后自己查阅。要注意的是，这里的环境是集群部署，也就是多台机器都要部署java/hadoop。慵懒的方式就在操作2遍，但是我们可以使用linux的一下技巧，比如编写集群分发脚本xsync，来实现，在hadoop112上部署环境修改配置，然后同步到hadpp113,hadp114。下面我们就开始进行操作：1) hado
转载
2023-09-06 10:55:22
70阅读
一、视图什么是视图？ 视图是从数据库中的基本表中选取的数据组成的逻辑窗口。它只是一个虚表，不进行实际的存储。数据库只存放视图的定义，数据项仍然存放在原来的基本表结构中。 视图可以被用于多个表的连接，也可以定义为部分行（列）可见。 Hive视图是一种无关底层存储的逻辑对象，视图中的数据是select查询返回的结果。视图的作用 1.简化查询语句 2.提高数据的安全性 3.视图保证了一定程度的逻辑独立性
转载
2023-09-04 21:10:00
78阅读
Hadoop生态中的Mapreduce在map阶段可以将大数据或大文件进行分区，然后到Reduce阶段可并行处理，分区数量一般与reduce任务数量一致；自定义实现Hadoop的WritableComparable接口（序列化并排列接口）的Bean在mapreduce中进行排序；分组的好处是在Reduce阶段时可将数据按照自定义的分组属性进行分组处理。 文章通过“寻找订单中的最大金额”的Demo
转载
2023-09-01 08:32:37
71阅读
Hadoop集群hdfs添加磁盘操作目前的环境是cdh。服务器部署在Azure；一台cdhmaster（一个namenode，一个datanode），四台cdhslave节点（各一个datanode）。hdfs现状：首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T）在到服务器中对每台服务器进行添加磁盘操作：因为在Linux中，常用2种分区表：
MBR分区表（即主引导记录）
所支持
转载
2023-07-12 13:30:22
103阅读
1.MapReduce工作流程 1.待处理文本 2.Submit()方法，客户端先完成一些文件的基本设置，XML文件（任务环境）、会将待处理文本进行切片、jar包、yarn给job分配id、job的参数配置等等 3.提交job信息到yarn集群 4.Resource Manager会根据切片数量计算出Map Task的数量（Connect to the ResourceManager） 5.待处理
转载
2023-09-04 11:38:44
98阅读
大家好！砸门又见面了。我先作一个自我介绍吧。我是一个打算学习大数据一万小时的谢老师，目前学习了800多小时了，现在正在努力。 今天来玩的实验是：Hive分区表的动态分区分区是在处理大型事实表时常用的方法。分区的好处在于缩小查询扫描范围，从而提高速度。分区分为两种：静态分区static partition和动态分区dynamic partition。静态分区和动态分区的区别在于导入数据时，是手动输入
转载
2023-07-14 11:52:05
277阅读
动态分区存储管理方式主存的分配与回收16网络工程二班 孙书魁目的： 1，了解动态分区分配中，使用的数据结构和算法 2，深入了解动态分区存储管理方式，主存分配与回收
转载
2023-08-10 13:50:12
67阅读
动态分区动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。目前实现了动态添加分区及动态删除分区的功能。动态分区只支持 Range 分区。原理在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。通过动态分
转载
2024-04-25 11:05:12
169阅读
Hive中支持两种类型的分区：静态分区SP（static partition）动态分区DP（dynamic partition）静态分区与动态分区的主要区别在于静态分区是手动指定，而动态分区是通过数据来进行判断。详细来说，静态分区的列实在编译时期，通过用户传递来决定的；动态分区只有在SQL执行时才能决定。 二）实战演示如何在Hive中使用动态分区1、创建一张分区表，包含两
转载
2023-08-10 13:49:58
140阅读
一、概念 1、分区： Hadoop默认分区是根据key的hashCode对ReduceTask个数取模得到的，用户无法控制哪个key存储到哪个分区。想要控制哪个key存储到哪个分区，需要自定义类继承Partitioner<KEY, VALUE>，
泛型KEY, VALUE分别对应Mapper里的输出key,value,因为分区是在map()之后，环形缓冲区溢写时完成的。
转载
2023-06-30 22:25:11
137阅读
Hive分区的概念与传统关系型数据库分区不同。 传统数据库的分区方式：就oracle而言，分区独立存在于段里，里面存储真实的数据，在数据进行插入的时候自动分配分区。 Hive的分区方式：由于Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并不是一个实际
转载
2021-07-07 13:38:00
649阅读
2评论
关系型数据库中，对分区表 Insert 数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive 中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用 Hive 的动态分区，需要进行相应的配置。 1、开启动态分区参数设置 （1）开启动态分区功能（默认 true，开启） hive.exec.dynamic.partiti
转载
2023-05-29 16:22:11
310阅读
案例3：各州累计病例分区统计1、将美国疫情数据不同州的输出到不同文件中，属于同一个州的各个县输出到同一个结果文件中。一、需求分析输出到不同文件中–>reducetask有多个(>2)–>默认只有1个，如何有多个?—>可以设置， job. setNumReduceTasks(N)—>当有多个reducetask意味着数据分区---->默认分区规则是什么? hash
转载
2024-04-19 16:23:47
33阅读
徐海蛟 教学用途1、MapReduce中数据流动 （1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程： map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程： map - combin(本地reduce) - partition -reduce2、Mapreduce中Par
转载
2024-05-28 23:41:55
19阅读
一、HDFS(Hadoop Distributed File System的英文首字母缩写) 意思是Hadoop分布式文件系统，主要用来解决海量数据的存储问题 概念： HDFS是一个分布式的（何为分布式？在空间的任意点上随意分布）由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。其次是一个文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件。 二、HDFS的设计思想 1、分散均匀
转载
2023-11-10 01:22:33
62阅读
一.背景为了使得MapReduce计算后的结果显示更加人性化，Hadoop提供了分区的功能，可以使得MapReduce计算结果输出到不同的分区中，方便查看。Hadoop提供的Partitioner组件可以让Map对Key进行分区，从而可以根据不同key来分发到不同的reduce中去处理，我们可以自定义key的分发规则，如数据文件包含不同的省份，而输出的要求是每个省份对应一个文件。 二：技
转载
2023-09-21 23:59:29
110阅读
需求场景：hive计算完成导入oracle以后由于结果表需要重建，需要把hive中保存的分区信息同步到另外一张hive表对应的分区中，就涉及到多分区同时插入，下面介绍方法。 Hive中是支持分区的。 关系型数据库（如Oracle）中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive中也提供了类似的机制，即动态分区(Dynamic Partition)
转载
2024-07-30 15:50:29
32阅读
目录1、Spark 3.0 简介2、Adaptive Query Execution（AQE）简介3、Dynamic Partition Pruning 动态裁剪分区4、DPP相关参数5、DPP代码测试1、Spark 3.0 简介Spark3.0解决了超过3400个JIRAs，历时一年半之久，是整个社区集体智慧的成果。Spark SQL和Spark Cores是其中的核心模块，其余模块如
转载
2023-10-19 10:58:45
285阅读
静态分区裁剪（Static Partition Pruning）用过 Spark 的同学都知道，Spark SQL 在查询的时候支持分区裁剪，比如我们如果有以下的查询：SELECT * FROM Sales_iteblog WHERE day_of_week = 'Mon'Spark 会自动进行以下的优化： 从上图可以看到，
转载
2023-08-03 13:24:33
166阅读
一、问题描述为了支撑相应的业务需求，本次生产环境通过Hive SQL来完成动态插入分区表数据的脚本开发。但是，动态分区的插入往往会伴随产生大量的小文件的发生。而小文件产生过多的影响主要分为以下两种情况： （1） 从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。 （2）在HDFS中，每个小文件对象约占150byt
转载
2023-09-20 06:22:38
248阅读
