江南独孤客的博客_大数据篇,数据库篇,Linux(5)

按发布时间
按阅读量
2022年 300篇

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
全部

全部原创转载翻译

Hudi使用cow生成parquet格式用hive查询的问题

现象：公司使用flink cdc的时候，往hudi同步的数据是13140条数据，模式用的是cow，生成的parquet格式文件的时候，每upstert一次，用hive使用count查询的时候一下子是之前数据的十倍，131400条了，用presto查询不会出现这种情况。解决方案：在使用hive做聚合查询的时候，前面加上以下参数set hive.input.format= org.apache.had

hive

数据

apache

置顶原创精选 2022-02-14 11:31:35 2326 阅读

大数据平台交接的执行命令

Tags: 交接文档大数据服务操作命令ZK启动 node1上执行，这个已配置随服务器启动，可以不用执行zkServer.sh start启动HDFS node1上执行start-dfs.sh 启动yarn node1上执行start-yarn.sh启动spark node4上执行service spark-thriftserver start启动historyServer node1上执行，这个服

spark

hadoop

hdfs

置顶原创 2022-02-11 14:02:27 422 阅读

登录服务器后，提示-bash-4.2# 该如何解决？

此情况一般出现在用户家目录下，环境变量文件被删除导致；-bash-4.2# 看到后面的 “ # ”吗？说明您使用的root用户登录的，您此时该去查看： root用户的家目录（/root目录）中环境变量文件（.bash*文件）是否存在此时使用命令ls -a /root查看,并没有文件.bash*-bash-4.2# ls -a /root. .. .cache .config恢复

bash

环境变量

root用户

置顶原创精选 2022-02-10 11:21:05 2095 阅读

kudu master删除两个节点后的报错处理

问题描述：原来kudumaster是三个节点，被运维删除两个后报错如下：解决方案：sudo -u kudu kudu local_replica cmeta rewrite_raft_config --fs_wal_dir=/kudu/kudu_master_wal --fs_data_dirs=/kudu/kudu_master_data 000000000000000000000000000

解决方案

运维

kudu

置顶原创 2022-01-18 11:59:56 1349 阅读

运维常用mysql语句

1.、select @@version; ##查询当前mysql的版本.2、 show variables like 'port';##查看mysql实例的端口。3、show variables like 'socket';##查看实例的socket数据。4、 show variables like 'datadir';##查看实例的数据路径。5、show databases; ##显示所有数

mysql

数据库

慢查询

置顶原创 2022-01-14 09:51:25 576 阅读

cdh安装到scm-server的mysql报错处理

报错如下：提示root没有权限操作scm库解决方案：grant all on *.* to 'root'@'%' identified by 'Password' with grant option;t option;

解决方案

ide

置顶原创 2022-01-13 14:28:45 380 阅读

hudi0.10和spark配合使用报错处理

报错内容如下：java.lang.ClassNotFoundException: Failed to find data source: hudi. Please find packages at http://spark.apache.org/third-party-projects.html at org.apache.spark.sql.execution.datasources.DataS

spark

apache

scala

置顶原创 2022-01-05 16:30:57 2017 阅读

使用datart连接hive报org.apache.thrift.transport.TTransport

报错Caused by: java.lang.ClassNotFoundException: org.apache.thrift.transport.TTransport2022-02-28 18:55:08.017 ERROR datart.server.config.WebExceptionHandler : Handler dispatch failed; nested exception

java

apache

hive

置顶原创精选 2022-02-28 19:27:50 5575 阅读 1点赞 2评论

解决mysql: command not found

[root@dbos-bigdata-mysql bin]# mysql -uroot-bash: mysql: command not found解决方案：ln -s /opt/mysql/bin/mysql /usr/bin

mysql

bash

解决方案

置顶原创 2022-02-22 17:23:28 974 阅读

Linux操作系统加固

1. 账号和口令1.1 禁用或删除无用账号减少系统无用账号，降低安全风险。操作步骤使用命令 userdel <用户名> 删除不必要的账号。使用命令 passwd -l <用户名> 锁定不必要的账号。使用命令 passwd -u <用户名> 解锁必要的账号。1.2 检查特殊账号检查是否存在空口令和root

配置文件

用户名

新建用户

原创 2022-11-25 10:22:32 131 阅读

Java学习File类的判断和获取功能

方法名说明public boolean isDirectory()测试此抽象路径名表示的File是否为目录public boolean isFile()测试此抽象路径名表示的File是否为文件public boolean exists()测试此抽象路径名表示的File是否存在public String getAbsolutePath()返回此抽象路径名的绝对路径名字字符串public String

路径名

字符串

对象数组

原创 2022-11-06 17:19:53 158 阅读

hue查询hive数据一直处理查询状态

原因是因为session不释放导致的解决方案：需要设置的参数会话检查间隔hive.server2.session.check.interval=5分钟空闲操作超时hive.server2.idle.operation.timeout=0空闲会话超时hive.server2.idle.session.timeout=0重启hiveserver2问题解决

hive

解决方案

重启

原创精选 2022-11-01 23:47:57 745 阅读

自己的一些感受

给专科学历的打工人一些建议，希望能之共勉。个人中专毕业16年，非全大专两年，网络教育在上，电子科技大学，工作12年，目前是大数据运维专家岗位，磕磕绊绊一路走来，以下建议从容易执行的开始。1 摆正心态接受非全专科学历比统招本科难找工作的客观事实。尽可能的积极的去面对，因为即使抱怨也解决不了问题2 提升学历最容易的是网络教育2.5年只需要花钱，有能力的自考本，不是所有的公司都需要统招本科。网络教育

项目经验

碎片化

运维

原创 2022-10-19 09:11:33 226 阅读

Java学习File之File类创建功能

方法名说明public boolean createNewFile()当具有该名称的文件不存在时，创建一个由该抽象路径名命名的新空文件public boolean mkdir()创建由此抽象路径名命名的目录public boolean mkdirs()创建由此抽象路径名命名的目录，包括任何必需但不存在的父目录package com.itheima_110;import java.io.File;i

java

路径名

html

原创 2022-07-02 17:13:19 323 阅读

Java学习File之概述和构造方法

File：它是文件和目录路径名的抽象表示文件和目录是可以通过File封装成对象的对于File而言，其封装的并不是一个真正存在的文件，仅仅是一个路径名而已，它可以是存在的，也可以是不存在的。将来是要通过具体的操作把这个路径的内容转换为

路径名

字符串

java

原创 2022-07-02 16:35:25 275 阅读

Java学习Collections之案例：模拟斗地主升级版

package com.itheima_109;/* 需求：通过程序实现斗地主过程的洗牌，发牌和看牌。要求：对牌进行排序思路： 1.创建HshMap,键是编号，值是牌 2.创建ArrayList,存储编号 3.创建花色点数组和点数数组 4.从0开始往HashMap里面存储编号，并存储对应的牌。同时往ArrayList里面存储编号 5.洗牌(洗

java

数组

map集合

原创 2022-07-02 16:09:07 148 阅读

Java学习Collections之案例：模拟斗地主升级版案例分析

需求：通过程序实现斗地主过程的洗牌，发牌和看牌。要求：对牌进行排序 HashMapkeyvalueArrayList洗牌0♦301♣3 12♥323♠334♦445♣45.........52大王5253小王53发牌 TreeSet1,52,30,52看牌♣3 ♣4♥3 ♠3 ♦3 小王思路：1.创建HashMap,键是编号，值是牌2.创

数组

map集合

原创 2022-07-02 15:25:05 159 阅读

Java学习Collections之案例：模拟斗地主

package com.itheima_109;import java.util.ArrayList;import java.util.Collections;/*需求：通过程序实现斗地主过程中的洗牌，发牌和看牌思路：1.创建一个牌盒，也就是定义一个集合对象，用ArrayList集合实现2.往牌盒里面放牌3.洗牌，也就是把牌打散，用Collections的shuffle()方法实现4.发牌，也就是

数组

java

i++

原创 2022-07-02 14:55:37 107 阅读

Java学习Collections之案例：ArrayList存储学生对象并排序

package com.itheima_108;import java.util.ArrayList;import java.util.Collections;import java.util.Comparator;/*需求：ArrayList存储学生对象，使用Collections对ArrayList进行排序要求：按年龄从小到大排序，年龄相同时，按照姓名的字母顺序排序思路：

java

集合排序

ide

原创 2022-07-02 14:02:51 278 阅读

Java学习之Collections概述和使用

package com.itheima_108;import java.util.ArrayList;import java.util.Collections;import java.util.List;/* Collections类的概述是针对集合操作的工具类 Collections类的常方法 public static <T extends Comparable<?s

java

升序

集合操作

原创 2022-07-02 13:35:17 107 阅读

Java学习Map之案例：统计字符串中每个字节出现的次数

package com.itheima_107;/* 需求：键盘录入一个字符串，要求统计字符串中每个字符串出现的次数。举例：键盘录入"aababcabcdabcde" 在控制台输出："a(5)b(4)c(3)d(2)e(1)" 思路： 1.键盘录入一个字符串 2.创建HashMap集合，键是Character,值是Integer 3.遍历字符串，

字符串

map集合

键盘录入

原创精选 2022-07-02 12:53:07 544 阅读

Java学习HashMap集合之嵌套ArrayList嵌套HashMap

package com.itheima_106;/* 需求：创建一个ArrayList集合，存储三个元素，每一个元素都是HashMap，每一个HashMap的键和值都是String，并遍历思路： 1:创建ArrayList集合 2:创建HashMap集合，并添加键值对元素 3:把HashMap作为元素添加到ArrayList集

map集合

java

数据

原创 2022-06-14 12:55:29 434 阅读

Java学习HashMap之案例：HashMap集合存储ArrayList元素并遍历

package com.itheima_27;import java.util.ArrayList;import java.util.HashMap;import java.util.Set;/* 案例：HashMap集合存储ArrayList元素并遍历需求：创建一个HashMap集合，存储三个键值对元素，每一个键值对元素的键是String,值是ArrayList集合每一个ArrayLi

map集合

java

键值对

原创 2022-06-14 07:18:01 513 阅读

Java学习Map之案例：HashMap集合存储学生对象并遍历

需求：创建一个HashMap集合，键是学生对象(Student),居住地是(String).存储多个键值对元素，并遍历要求保证键的唯一性：如果学生对象的成员变量值相同，我们就认为是同一个对象思路： 1.定义学生类 2.创建HashMap集合对象 3.创建学生对象 4.把学生添加到集合 &nb

map集合

java

成员变量

原创 2022-06-12 22:09:20 1186 阅读

Java学习Map之案例：HashMap集合存储学生对象并遍历

需求：创建一个HashMap集合，键是学号（String），值是学生对象(Student)。存储三个键值对元素，并遍历1.定义学生类2.创建HashMap集合对象3.创建学生对象4.把学生添加到集合5.遍历集合方式1:键值找方式2:键值对对象找键和值package com.itheima_25;import java.util.HashMap

键值对

map集合

java

原创 2022-06-12 21:31:25 262 阅读

Java学习Map之Map集合的遍历(方式2)

我们刚才存储的元素都是成对出现的，所以我们把Map看成是一个夫妻对的集合遍历思路:获取所有结婚证的集合遍历结婚证的集合，得到每一个结婚证根据结婚证获取丈夫和妻子转换为Map集合中的操作：获取所有键值对对象的集合 Set<Map.Entry<K,V>>entrySet():获取所有键值对对象的集合遍历键值对对象的集合，得到每一个键值对对象

键值对

java

map集合

原创 2022-06-07 06:36:25 114 阅读

Java学习Map之Map集合的遍历(方式1)

我们刚才存储的元素都是成对出现的，所以我们把Map看成是一对夫妻的集合遍历思路: 1.把所有的丈夫给集中起来 2.遍历丈夫的集合，获取到每一个丈夫 3.根据丈夫去找对应的妻子转换为Map集合中的操作： 1.获取所有键的集合，用KeySet()方法实现 2.遍历键的集合，获取到每一个键，用增强for实现 3.根据键去

java

map集合

原创 2022-06-07 06:17:58 138 阅读

Java学习Map之Map集合的获取功能

方法名说明V get(Object key)根据键获取值Set<K> KeySet()获取所有键的集合Collection<V>values()获取所有值的集合Set<Map.Entry<K,V>>entrySet()获取所有键值对对象的集合package com.ithema_24;import java.util.Collection;impor

java

获取值

键值对

原创 2022-06-07 05:39:58 249 阅读

Java学习Map之Map集合的基本功能

方法名说明V put(K key,V value )添加元素V remove(Object key)根据键删除键值对元素void clear()移除所有的键值对元素boolean containsKey(Object key)判断集合是否包含指定的键boolean containsValue(Object Value)判断集合是否包含指定的值boolean isEmpty(

键值对

java

方法名

原创 2022-06-06 23:59:36 163 阅读

Java学习Map之Map集合概述和使用

Map集合概述Interface Map<K,V> K:键的类型; V:值的类型将键映射到值的对象；不包含重复的键；每个键可以映射到最多一个值举例：学生的学号和姓名 itheima001 林青霞 itheima00

map集合

多态

java

原创 2022-05-10 19:33:21 239 阅读

欢迎

首页
1
2
3
4
5
6
7
8
共300条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客