51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

CDH 集群 使用 JindoFS SDK 访问 OSS

CDH 集群 使用 JindoFS SDK 访问 OSS CDH（Cloudera's Distribution, including Apache Hadoop）是众多Hadoop发行版本中的一种，本文以CDH 5.16.2为例介绍如何配置CDH支持使用JindoFS SDK访问OSS。 步骤 1. 安装 jar 包 下载最新的jar包 jindofs-sdk-x.x.x.jar (下载页面)，

hadoop
oss
置顶 原创 推荐 2021-09-13 13:38:45 3596 阅读

dolphinscheduler调度中执行python报错的处理过程

写了一个简单的helloworld做测试发现，这个路径并不是我环境中的路径，执行结果如下 解决思路： 先查看env下的ds的配置环境如下： 发现这个配置是原来的配置，不是我机器上的配置，原来默认python的配置是/opt/soft/python/bin/python，这个是原来ds环境自带的，后来我改成我的测试环境的配置是： 重启work节点后问题解决 解决问题如下图：

调度报错处理
置顶 原创 推荐 2021-09-09 18:53:46 7773 阅读 1点赞

使用datart连接hive报org.apache.thrift.transport.TTransport

报错Caused by: java.lang.ClassNotFoundException: org.apache.thrift.transport.TTransport2022-02-28 18:55:08.017 ERROR datart.server.config.WebExceptionHandler : Handler dispatch failed; nested exception

java
apache
hive
置顶 原创 精选 2022-02-28 19:27:50 5575 阅读 1点赞 2评论

hive on spark在后台插入数据到hudi表报错的处理

报错的内容如下：大至意思是找不到hive的一个parquet的类解决方案：查看了一下后台访问加载的时候，spark加载不到hive的hive-exec-2.1.1-cdh6.3.0-core.jar和hive-exec-2.1.1-cdh6.3.0.jar这两个jar包，因为只放了hudi的jar包解决方案：cd /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0

jar
hive
置顶 原创 精选 2021-12-30 20:39:42 1326 阅读
Flink 高效sink写入OSS

Flink 高效sink写入OSS

内容框架：背景介绍功能介绍如何配置如何使用背景介绍Apache Flink 简介Apache Flink 是新一代大数据计算引擎的代表，以分布式流计算为核心，同时支持批处理。特点：低延时：Flink 流式计算可以做到亚秒甚至毫秒级延时，相比之下 Spark 流计算很难达到秒级高吞吐：Flink 以分布式快照算法实现容错，对吞吐量的影响很小高容错：基于分布式快照算法，Flink 实现了低代价、高效的

flink
java
github
jar
上传
置顶 原创 精选 2021-11-09 17:23:41 3308 阅读

hive on spark参数调整

前言 Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用on YARN部署方式来说明。Driver参数spark.driver.cores该参数表示每个Executor可

spark
hive
hdfs
数据
单节点
置顶 原创 精选 2021-11-01 17:56:17 1703 阅读

hadoop的日常操作

一、清理空间步骤1.删除日志和回收站hdfs dfs -rm -r -skipTrash /user/*/.Trash/*hdfs dfs -rm -r -skipTrash /var/log/hadoop-yarn/apps/tools/logs/*hdfs dfs -rm -r -skipTrash /group/user/*/meta/hive-exec/*/*2.减少大表副本数a、查找大表

hadoop
置顶 原创 精选 2021-10-08 09:40:33 1346 阅读 7点赞 1收藏 3评论

hue创建hive表的时候显示注释乱码

问题环境软件 版本CDH 6.3.0hive 2.1.1-cdh6.3.0问题原因其实hive的元数据都是存储在数据库里面，目前支持mysql,oracle,Postgres和MS SQL Server。如果我们建表发现乱码，很显然就可以归类到数据库表乱码问题。本例关联的数据库是mysql。 表名如下：需要修改mysql的hive的的字符改成utf-8解决方案：在​​mysql​​对应的​​hiv

hive
乱码
置顶 原创 精选 2021-09-23 16:57:33 3891 阅读

centos6.6静默部署oracle11GR2

Centos 6.6静默安装Oracle的教程 一、配置Centos 6.6 1、安装数据库需要的软件包 yum -y install binutils compat-libstdc++ elfutils-libelf elfutils-libelf-devel glibc glibc-common glibc-devel glibc-headers gcc gcc-c++ libaio liba

oracle静默
置顶 原创 推荐 2021-08-27 07:37:52 1231 阅读 2点赞 1收藏 2评论

mysql5.7.23主从安装部署，并开启GTID

[client] port=3306 socket=/data/mysql/data/mysql.sock [mysqldump] max_allowed_packet=1G default_character_set=utf8mb4 [mysql] no-auto-rehash default_character_set=utf8mb4 prompt=[\\u@\\h][\\d]>\\

5.7.23
置顶 原创 推荐 2021-08-26 12:09:17 2011 阅读 1点赞 1收藏

Atlas2.1.0集成CDH6.3.0部署

Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。 Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。 如果没有Atlas大数据表依赖问题不好解决，元数据管理需要自

atlas
置顶 原创 推荐 2021-08-21 15:46:53 10000+阅读 3点赞 3收藏 8评论
CDH6.3.0上配置各种对象存储

CDH6.3.0上配置各种对象存储

cm-hdfs: ufile: 还需添加jar包     S3:是自带jar包     OSS: CDH6不需要下载包, CDH5需要 core-site.xml 的群集范围高级配置代码段（安全阀）         fs.oss.endpoint oss-eu-west-1.aliyuncs.com              #oss的外网地址fs.oss.accessKeyId fs.

cdh
置顶 原创 推荐 2021-07-27 17:54:03 2566 阅读 1评论

CDH的组件java调优建议值

hadoop组件部件内存hdfsJournalNodenamenode"-XX:+UseParNewGC -Xmx4096m -Xms4096m"datanodeJava Heap：8ghivehiveserver2100连接数Java Heap：30GHive Metastore100连接数Java Heap：30Gbeeline cliJava Heap：2ghive on sparkhive

CDH
置顶 原创 精选 2021-06-01 13:31:42 997 阅读

Java学习File之遍历路径的案例

package com.itheima_111;import java.io.File;/*需求: 需求:指定一个路径,请通过递归完成遍历该目录下的所有内容,并把所有文件的绝对路径输出在控制台思路: 1.根据给定的路径创建一个File对象 2.定义一个方法,用于获取给定目录下的所有内容,参数为第1个步骤创建的File对象 3.获取给定的File目录下所有文件或者目录的File

数组
绝对路径
调用方法
原创 精选 2023-02-14 22:58:12 248 阅读

Java学习File之案例:递归求阶乘

package com.itheima_111;/*案例:递归求阶乘需求:用递归求5的阶乘,并把结果在控制台输出分析:1.阶乘:一个正整数的阶乘是所有小于及等于该数的正整数的积,自然数n的阶乘写作n! 5!=5*4*3*2*12.递归出口:1! = 13.递归规则:n! = n*(n - 1 ) 5! = 5* 4!思路:1.定义一个方法,用于递归求阶乘,参数为一个int类型的变量2.在方法

递归
调用方法
n的阶乘
原创 精选 2023-02-11 17:05:58 323 阅读 1点赞 1评论

Java学习File之递归

递归概述:以编程的角度来看,递归指的是方法定义中调用方法本身的现象.递归解决问题的思路:把一个复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解递归策略只需少量的程序就可以描述出解题过程所需要的多次重复计算递归解决问题要找到两个内容  递归出口:否则会出现内存滚出  递归规则:与原问题相似的规模较小的问题package com.itheima_111;/* 递归概述:

递归
System
调用方法
原创 精选 2023-02-11 15:16:14 230 阅读 1点赞 1评论
hue查询hive数据一直处理查询状态

hue查询hive数据一直处理查询状态

原因是因为session不释放导致的解决方案：需要设置的参数会话检查间隔hive.server2.session.check.interval=5分钟空闲操作超时hive.server2.idle.operation.timeout=0空闲会话超时hive.server2.idle.session.timeout=0重启hiveserver2问题解决

hive
解决方案
重启
原创 精选 2022-11-01 23:47:57 745 阅读

Java学习Map之案例：统计字符串中每个字节出现的次数

package com.itheima_107;/* 需求：键盘录入一个字符串，要求统计字符串中每个字符串出现的次数。 举例：键盘录入"aababcabcdabcde" 在控制台输出："a(5)b(4)c(3)d(2)e(1)" 思路： 1.键盘录入一个字符串 2.创建HashMap集合，键是Character,值是Integer 3.遍历字符串，

字符串
map集合
键盘录入
原创 精选 2022-07-02 12:53:07 544 阅读

Java学习之带参数方法定义和调用

定义格式：参数：由数据类型和变量名组成-数据类型  变量名参数范例：int a public static void 方法名 (参数1) { 方法体：}public static void 方法名 (参数1，参数2，参数3...){}范例：public static void isEvenNumber(int nubmer){ ...}public static v

方法名
数据类型
变量名
java
原创 精选 2021-12-21 19:19:56 324 阅读

Java学习数据组

/* 什么是数组【理解】 数组就是存储数据长度固定的容器，存储多个数据的数据类型要一致。 数组定义格式【记忆】 第一种: 数据类型[] 数组名 int[] arr; double[] arr; char[] arr; 第二种： 数据类型 数组名[] int arr[]; double arr[]; char

java
数组
原创 精选 2021-09-30 09:48:43 10000+阅读
Java学习之swich语句

Java学习之swich语句

/* swich语句 格式： swich(表达式)（ case 值1： 语句体1； break: case 值2： 语句体2： break: ... default; 语句体 n+1;

java
switch
原创 精选 2021-09-27 22:59:21 754 阅读

hdfs提示/tmp/.cloudera_health_monitoring_canary_file

一、查看hdfs的tmp文件夹是否存在 sudo su - hdfs hdfs dfs -ls / 发现hdfs的根目录下没有tmp文件夹 新建tmp文件夹 hdfs dfs  -mkdir /tmp hdfs dfs -chmod -R 775  /tmp/ Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。 二、查

hdfs
原创 精选 2021-08-30 12:32:41 3050 阅读 1点赞 1收藏

记录一次hive on saprk执行报错处理的过程

今天早上来到公司，看了一下hue平台执行的时候，出现以下报错，然后我就去平台上查看日志，找了半天也没有找到，以为是spark的问题。 然后在去hive上去看日志，发现了报错如下（原来是与atlas集成的时候，把阿里的oss的jar也移了过来，因为hive设置辅助jar只能设置一个路径）： 查看了一下，无权限，然后去服务器上开通相关的权限 原因是因为这几个包是与aliyun的oss集成的包，hi

hadoop
原创 精选 2021-08-24 10:32:55 944 阅读 1点赞

Centos7禁用THP（Transparent HugePages）(大数据要关闭此项)

开启THP精髓是提高内存分配效率，减少CPU SYS开销。 1、首先检查THP的启用状态： [root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/defrag[always] madvise never[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/enable

THP
原创 精选 2021-08-23 15:29:26 10000+阅读 2点赞 2收藏

数据湖的环境共享datalake元数据共享方案

一、hdfs配置： 进入hdfs---配置---搜：hdfs-site.xml 的 HDFS 服务高级配置代码段（安全阀） xml的配置hdfs以下信息：   xml信息 <property> <name>dfs.client.failover.proxy.provider.offline</name> <value>org.apa

cdh
原创 精选 2021-08-21 17:26:30 578 阅读

yarn任务报错任务和yarn超时长1小时任务的

一、yanr的flink任务被kill和fail的告警 1.需要安装的python3的pip3库（添加钉钉机器人略，自己百度） pip3 install  apscheduler pip3 install dingtalkchatbot pip3 install chatbot 2.需要用dingdinglkchatbot下的chatbot.py替换/usr/local/lib/python3.

任务告警开发
原创 精选 2021-08-09 13:58:11 1572 阅读 2收藏

CDH常用优化配置

1.hive.metastore.warehouse.dirHive 仓库目录是在 HDFS 中存储 Hive 表格的位置。注意此仓库目录的 Hive 默认值为“/user/hive/warehouse”。 2.hive.warehouse.subdir.inherit.perms让表目录继承仓库或数据库目录的权限，替代使用从 dfs umask 派生权限创建。该操作允许通过 Hive 将 Imp

hive
原创 精选 2021-08-03 23:39:39 1294 阅读

HDFS数据保护之回收站功能

　　引言：当从HDFS删除文件时，将释放与该文件相关联的块。而配置HDFS的回收站功能后，其会将删除的文件和目录存储在特定回收站目录中一定的时间后释放块，然后再将其永久删除，即可防止意外数据删除。如果配置了回收站功能且回收间隔大于0，那么删除的文件或者目录会在用户主目录下的.Trash目录保存。　　回到顶部一、进入主题，配置回收站功能：　　配置coresite.xml文件中的fs.trash.in

hdfs
原创 精选 2021-08-02 09:46:18 2058 阅读 1收藏

高可用部署二进制 Kubernetes

二进制安装k8s 节点名称 IP k8s-master-01 172.16.1.71 k8s-master-02 172.16.1.72 k8s-master-03 172.16.1.73 k8s-node-01 172.16.1.74 k8s-node-02 172.16.1.75 # 修改IP和主机名# 关闭防火墙和selinux# host解析 (五台机器都要做，太长不重复复制) [roo

k8s
原创 推荐 2021-07-22 10:00:21 1680 阅读 1收藏

从0开始建设大数据平台

  1、大数据平台前期调研 1.1业务需求调研 从运维角度看，主要调研公司的有哪业务的数据运营需求，是离线计算需求还是实时计算需求。 1）离线计算组件需求： 数据采集组件：FlinkX/DataX   数据存储组件：HDFS 数据加工组件：YARN/Hive/Spark/Flink 数据服务组件：HBase/Elasticsearch/Geomesa（时空数据库）/Kylin

hadoop
原创 精选 2021-06-24 15:59:05 1256 阅读

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯