江南独孤客的博客_大数据篇,数据库篇,Linux

Hive On Hudi

背景Hudi 源表对应一份 HDFS 数据，通过 Spark，Flink 组件或者 Hudi CLI，可以将 Hudi 表的数据映射为 Hive 外部表，基于该外部表， Hive可以方便的进行实时视图，读优化视图以及增量视图的查询。Hive On Hudi 集成这里以 hive3.1.1、hudi 0.9.0为例，其他版本类似1）将 hudi-hadoop-mr-bundle-0.9.0xxx.

hive

jar

数据

置顶转载 2021-12-16 17:23:26 1359 阅读

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

一、环境准备1.环境准备：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平台二.编译hudi（这个编译是以前的一个测试版本，编译大同小异）1.使用git命令下载hudi0.10的代码steven@wangyuxiangdeMacBook-Pro  ~  git clone https://gith

flink

hive

数据

hudi

置顶原创推荐 2021-12-15 17:13:27 10000+阅读 5点赞 3收藏 1评论

apache

数据

flink

数据集

spark

置顶原创 2021-12-01 16:48:21 1444 阅读 1收藏

hive on spark在后台插入数据到hudi表报错的处理

报错的内容如下：大至意思是找不到hive的一个parquet的类解决方案：查看了一下后台访问加载的时候，spark加载不到hive的hive-exec-2.1.1-cdh6.3.0-core.jar和hive-exec-2.1.1-cdh6.3.0.jar这两个jar包，因为只放了hudi的jar包解决方案：cd /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0

jar

hive

置顶原创精选 2021-12-30 20:39:42 1208 阅读

Java学习之学生对象-练习【应用】

package com.ithema_09;/* 需求：首先定义一个学生类，然后定义一个学生测试类，在学生测试类中通过对象完成成员变量和成员方法的使用分析：成员变量：姓名，年龄... 成员方法：学习、做作业... */public class Student { //成员变量 String name; int age; //成员方法 p

成员方法

成员变量

测试类

原创 2021-12-30 20:05:09 189 阅读

Java学习这对象的使用

创建对象格式类名对象名 = new 类名 ();调用成员的格式：对象名.成员变量对象名.成员方法();示例代码：package com.ithema_09;/* 创建对象格式：类名对象名 = new类名(); 范例：phone p = new phone(

对象名

类名

创建对象

原创 2021-12-29 19:33:32 93 阅读

Java学习之类和对象

1.1类和对象的理解客观存在的事物皆为对象，所以我们也常常说万物皆对象类：类的理解：类是对现实生活中一类具有共同属性和行为的事物的抽象 &n

成员变量

成员方法

数据类型

原创 2021-12-29 19:09:23 162 阅读

Java学习之评委打分【应用】

package com.ithema_08;/* 案例需求：在编程竞赛中，有6个评委参赛的选手打分，分数为0-100的整数分，选择的最后得分为：去掉一个最高分和去掉一个最低分后的4个评委的平均值（不考虑小数部分）思路： 1.定义一个数组，用动态初始化完成数组元素初始化，长度为6 2.键盘录入评委分数 3.由于6个评委打分，所以，

数组

调用方法

初始化

原创 2021-12-29 10:21:18 213 阅读

Java学习之数组元素反转【应用】

package com.ithema_08;/* 案例需求：已知一个数组arr={19, 28, 37, 46, 50}；用程序实现把数组中的元素值交换，交换后的数组arr={50, 46, 37, 28, 19}; 并在控制台输出交换后的数组元素思路： 1.定义一个数组，用静态初始化完成数组元素的初始化

数组

初始化

遍历数组

原创 2021-12-28 19:43:10 234 阅读

Java学习之查找元素在数组中出现的索引位置【应用】

package com.ithema_08;/* 案例需求：已知一个数组arr={19,28,37,46,50};键盘录入一个数据，查找该数据在数组中的索引并在控制输出找到索引值。如果没有查找到，则输出-1 思路： 1.定义一个数组，用静态初始化完成数组元素的初始化 2.键盘录入要查找的数据，用一个变量接收

数组

数据

键盘录入

原创 2021-12-28 10:48:40 1902 阅读

Java学习之判断两个数组是否相同【应用】

package com.ithema_08; /* 案例需求：定义一个方法，用于比较两个数组的内容是否相同思路： 1.定义两个数组，分别使用静态初始化完成数组元素的初始化 2.定义一个方法，用于比较两个数组的内容是否相同 3.比较两个数组的内容是否相同，按照下面的步骤实现就可以了首先比较数组长

数组

初始化

调用方法

原创 2021-12-27 18:58:51 327 阅读

Java学习之6数组元素求和【应用】

package com.ithema_08;/* 案例需求：有这样的一个数组，元素{68,27,95,88,171,996,51,210}。求出该数组中满足要求的元素和，要求是：求和的元素个位和十位都不能是7，并且只能是偶数思路： 1.定义一个数组，用静态初始化完成数组元素的初始化 2.定义一个求和变量，初始值是0

数组

初始化

遍历数组

原创 2021-12-27 17:37:17 513 阅读

Java学习之5百钱白鸡【应用】

package com.ithema_08;/* 案例需求：我国古代数学家张丘建在《算经》一书中提出的数学问题：鸡翁一值钱五，鸡母值一值钱三，鸡雏三值钱一。百钱买百鸡，问鸡翁、鸡母、鸡雏各几何？思路： 1.第1层循环，用于表示鸡翁的范围，初始化表达式的变量定义为 x = 0,判断条件是x <=20 2.第2层循环，用于表示鸡母的

初始化

原创 2021-12-27 17:08:20 297 阅读

Java学习之不死神兔【应用】

package com.ithema_08;/* 有一对兔子，从出生后第三个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问第二十个月的兔子对数为多少思路： 1.为了存储多个月的兔子对数，定义一个数组，用动态初始化完成数组元素的初始化，长度为20 2.因为第1个月，第2个月的兔子是已知的，都是1，所以数组的第1个元素，第二个元素值也都是1

数组

初始化

数组元素

原创 2021-12-27 15:38:56 171 阅读

Java学习之逢七跳过【应用】

package com.ithema_08;/* 朋友聚会的时候可能会玩一个游戏：逢七过。规则是：从任意一个数字开始报数，当你要报的数字包含7或者是7 的倍数时都要说：过。为了帮助大家更好的玩这个游戏，这里我们直接在控制台打印出1-100之间的满足逢七必过规则的数据。这样，大家将来在玩游戏的时候，就知道哪些数据要说：过。思路： 1.数据在1~100之间

数据

for循环

if语句

原创 2021-12-27 14:34:01 984 阅读

Java学习之减肥计划switch版本【应用】

package com.ithema_08;import java.util.Scanner;/* 输入星期数，显示今天的减肥活动，周一：跑步周二：游泳周三：慢走周四：动感单车周五：拳击周六：爬山周末：好好吃一顿思路： 1.键盘录入一个星期数，用一个变量接收 2.对星期数进行判断，这里使用switch语句实现 3.在对应的语句控制中输出对应

导包

键盘录入

java

原创 2021-12-27 13:59:32 129 阅读

Java学习之减肥计划if版本【应用】

package com.ithema_08;/* 需求：输入星期数，显示今天的减肥活动，周一:跑步周二：游泳周三：慢走周四：动感单车周五：拳击周六：爬山周日：好好的吃一顿思路： 1.键盘录入一个星期数，用一个变量接收 2.对星期数进行判断，这里用if语句实现 3.在对应的语句控制中输出对应的减肥活动 */import java.util.Scan

键盘录入

if语句

java

原创 2021-12-27 12:56:43 127 阅读

Java学习之数组最大值（应用）

package com.ithema_07;/* 需求：设计一个方法用于获取数组中元素的最大值思路： 1.定义一个数组，用于静态初始化完成数组元素初始化 2.定义一个访求，用来获取数组中的最大值，最值的认知和讲解我们在数组中已经讲解过了 3.调用获取最大值方法，用变量接收返回结果 4.把结果输出在控制台 */public class Me

数组

初始化

返回结果

原创 2021-12-24 17:37:22 365 阅读

Java学习之数组遍历（应用）

package com.ithema_07;/* 需求：设计一个方法用于数组遍历，要求遍历的结果在一行上的。例如：[11,22,33,44,55] 思路： 1.因为要求结果在一行上输出，所以这里的需要在学习一个新的输出语句，System.out.print("内容")； System.out.println("内容")；输出内容并换行 Syste

数组

数组遍历

初始化

原创 2021-12-24 09:33:52 302 阅读

Java学习之方法参数传递引用类型（理解）

代码测试：package com.ithema_07;/* 结论：对于引用类型的参数，形式参数的改变，影响实际参数的值结论依据：引用数据类型的传参，传入的是地址值，内存中会造成两个引用指向同一个内存的效果，所以即使方法弹栈，堆内存中的数据也已经是改变后的结果 */public class ArgsDemo02 { public static void

引用类型

引用数据类型

数据

原创 2021-12-24 08:52:52 278 阅读

Java学习之方法参数传递基本类型（理解）

测试代码package com.ithema_07;public class ArgsDemo01 { public static void main(String[] args){ int number = 100; System.out.println("调用change方面前：" + number); change(number);

栈内存

基本数据类型

原创 2021-12-23 17:40:59 158 阅读

Java学习之方法重载练习（掌握）

package com.ithema_07;/* 需求：使用方法重载的思想，设计比较两个整数是否相同的方法，兼容全整数类型（byte,short,int,long）思路： 1.定义比较两个数字的是否相同的方法compare()方法，参数选择两个int类型 2.定义对应的重载方法，变更对应的参数类型，参数变更为两个long型参数 3.定义所有的重载方法，

测试运行

调用方法

类型参数

原创 2021-12-23 13:14:56 579 阅读

Java学习之方法重载

方法重载概念方法重载指同一个类中定义的多个方法之间的关系，满足下列条件的多个方法相互构成重载多个方法在同一个类中多个方法具有相同的方法名多个方法的参数不相同，类型不同或者数量不同注意：重载仅对应方法的定义，与方法的调用无关，调用方式参照标准格式重载仅针对同一个类中方法的名称与参数进行识别，与返回值无关，换句话说不能通过返回值来判定两个方法是否互相构成重载正确范例：public class Meth

方法重载

方法名

原创 2021-12-23 10:53:03 183 阅读

Java学习之带返回值方法的调用案例

package com.ithema_07;/* 带返回值方法的定义和调用定义格式： public static 数据类型方法名（参数）{ return 数据； } 调用格式： 1.方法名（参数） 2.数据类型变量名 = 方法名（参数） */public class Meth

方法名

数据类型

数据

原创 2021-12-22 19:32:37 1154 阅读

Java学习之方法的通用格式

格式：public static 返回类型值方法名（参数）{ 方法体； return 数据；}解释： public static修饰符，目前先记住这个格式返回值类型方法操作完毕之后返回的数据的数据类型如果方法操作完毕，没有数据返回，这里写void,而且方法体中一般不写return方法名调用方法时候使用的标识参数

数据

数据类型

调用方法

原创 2021-12-22 18:53:33 71 阅读

Java学习之带返回值方法注意事项

方法不能嵌套定义示例代码：public class MethodDemo{ public static void main(String[] args){ } public static void methodOne(){ public static void methodTwo(){ } }}void表示无返回值，可以省略return,也可以单独的书写ret

示例代码

数据

编译错误

原创 2021-12-22 16:42:31 168 阅读

Java学习之带返回值方法练习（应用）

package com.ithema_07;/* 需求：设计一个方法可以获取两个数的较大值，数据来自于参数思路： 1.定义一个方法，用于获取两个数字中的较大数 2.使用分支语句分两种情况对两个数字中的大小关系进行处理 3.根据题设分别调协两种情况下对应的返回结果 4.在main()方法中调用定义好的方法并使用变量保存 5.在main()方

返回结果

数据

原创 2021-12-22 15:54:33 92 阅读

Java学习带返回值方法定义和调用（掌握）

定义格式public static 数据类型方法名（参数）{ return 数据；}范例：public static boolean isEvenNumber(int number){ return true;}public static int getMax(int a,int b){ return 100;}注意：方法定义return后面返

数据类型

方法名

数据

原创 2021-12-22 11:06:37 545 阅读

Java学习之带参数方法练习（应用）

package com.ithema_07;/* 需求：设计一个方法用于打印两个数中较大数，数据来自于方法参数思路: 1.定义一个方法，用于打印两个数字中的较大数，例如getMax() 2.为方法定义两个参数，用于接收两个数字 3.使用分支语句分两种情况对两个数字大小关系进行处理 4.在main()方法中调用定义好的方法（使用常量）

数据

调用方法

方法参数

原创 2021-12-22 10:50:45 168 阅读

Java学习之带参数方法的定义和调用--形参和实参

开参：方法定义中的参数等同于变量定义格式，例如：int number实参：方法调用中的参数等同于使用变量或常量，例如：10 number

方法调用

原创 2021-12-22 10:25:46 492 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Hive On Hudi

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

数据湖hudi推荐的文档

hive on spark在后台插入数据到hudi表报错的处理

Java学习之学生对象-练习【应用】

Java学习这对象的使用

Java学习之类和对象

Java学习之评委打分【应用】

Java学习之数组元素反转【应用】

Java学习之查找元素在数组中出现的索引位置【应用】

Java学习之判断两个数组是否相同【应用】

Java学习之6数组元素求和【应用】

Java学习之5百钱白鸡【应用】

Java学习之不死神兔【应用】

Java学习之逢七跳过【应用】

Java学习之减肥计划switch版本【应用】

Java学习之减肥计划if版本【应用】

Java学习之数组最大值（应用）

Java学习之数组遍历（应用）

Java学习之方法参数传递引用类型（理解）

Java学习之方法参数传递基本类型（理解）

Java学习之方法重载练习（掌握）

Java学习之方法重载

Java学习之带返回值方法的调用案例

Java学习之方法的通用格式

Java学习之带返回值方法注意事项

Java学习之带返回值方法练习（应用）

Java学习带返回值方法定义和调用（掌握）

Java学习之带参数方法练习（应用）

Java学习之带参数方法的定义和调用--形参和实参