51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

各组件配置LDAP认证手册

注：本手册以CM&CDH5.7.6为例1、Hive配置LDAP认证目前单个Hive Server2只能支持一种客户端认证方式，或者是Kerberos认证，或者是LDAP认证，所以要在一个集群内部同时支持两种认证方式，必须配置两个HiveServer 2。注：目前新版本CDH已经可以同时支持两种认证方式，在CDH5.14.4上已验证过。1.1、开启“启用LDAP身份验证”搜索“启用 LDAP

hue
hive
impala
ldap
置顶 原创 推荐 2021-10-13 15:45:10 5878 阅读

元数据管理在数据仓库的实践应用

元数据管理是企业数据治理的基础，是数据仓库的提升。作为一名数据人，首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及工具。01 什么是数据仓库的元数据管理？1、什么是元数据？元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data）。抽象的描述：一组用于描述数据的数据组，该数据组的一切信息都描述了该数据的

元数据
hive
置顶 转载 2021-10-13 08:56:49 525 阅读
canal1.1.5 配置kafka

canal1.1.5 配置kafka

1. 简介：fcanal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括

canal
置顶 原创 推荐 2021-10-12 16:51:57 5077 阅读

Spark SQL 调优分享

常用参数和优化方法1. 资源调优spark 的资源分配粒度最小是container，即一个executor带的cpu和内存资源。资源的申请和移除都是通过executor 进程的增加和减少达成1.1 ExecutorExecutor 的参数影响了cpu和内存资源的分配，通过设置executor的参数，可以调节实际处理的并行度。资源最高并行度=executor num * executor core

spark
调优
置顶 转载 2021-10-12 10:05:10 3232 阅读 22点赞 2评论

centos7挂载新磁盘

步骤总结如下一、对磁盘进行分区二、对磁盘进行格式化三、将磁盘挂载到对应目录四、做开机自动挂载磁盘磁盘分区1.使用命令：fdisk -l 查看磁盘（注：正常在Centos7中第一块数据盘标识一般是/dev/sda,第二块数据盘标识一般是/dev/sdb）2.对磁盘进行分区，使用命令：fdisk /dev/sdb 对新增磁盘进行分区（/dev/sdb为新增数据盘标识）3.使用命令：fdisk -l检查

linux
data
置顶 转载 2021-10-11 15:34:25 10000+阅读 15点赞 2收藏

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 　　Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差于Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎，将MapReduce替换成Spark，从而大幅度

cdh
spark
hive
置顶 原创 精选 2021-10-09 11:09:20 4311 阅读 1点赞 1收藏

解决clickhouse问题库中无这个张表创建时已经存在的问题

clickhouse的问题：数据库中没有看到这个表，但是创建的时候提示已经存在。​09.28 13:38:34.828623 [ 15749 ] {3ebd057e-cdba-413a-a49c-a6c5c43df920} DDLWorker: Query CREATE TABLE IF NOT EXISTS athena.tb_user_local UUID '717eeed9-d8b1-42

clickhouse
置顶 原创 精选 2021-09-29 09:39:22 10000+阅读 13点赞 3收藏 6评论
flink滚动日志的配置

flink滚动日志的配置

flink 1.11.0之前版本的配置################################################################################# This affects logging for both user code and Flinklog4j.rootLogger=INFO, RFA# Uncomment this if you

flink
置顶 原创 精选 2021-09-28 09:51:14 3496 阅读

hue无法执行批处理作业解决方案

在执行批处理作业的时候，报作业为FAILED状态查看执行的过程中发现：oozie的问题。提示hdfs的/user/oozie/share/lib目录不存在，原因是因为没有安装oozie的共享库解决方案：点击oozie角色，操作中点击安装oozie共享库。然后测试一下批处理的脚本：脚本中没有报错，问题得到解决。

hue
置顶 原创 精选 2021-09-22 15:03:57 1373 阅读 1收藏

CDH6.3使用JindoFS SDK无法使用hadoop distcp的问题解决

原因： 原来使用的是aliyun-sdk-oss-2.8.3.jar，后来调查因为阿里的JindoFS SDK针对oss做了加速缓存，就替换成jindofs-sdk.jar，然后使用hadoop  distcp复制数据到oss的时候报错如下： hadoop distcp hdfs://换成自己环境的IP:9000/group/user/tools/meta/hive-temp-table/kstj

hadoop
置顶 原创 2021-09-15 20:29:43 844 阅读

hdfs出现Cannot obtain block length for LocatedBlockt

hdfs
置顶 原创 精选 2021-09-15 10:54:47 1395 阅读

dolphinscheduler版本差异的配置造成的故障处理

dolphinscheduler1.3.4的common.properties的配置 [root@dbos-bigdata-test003 conf]# vim /opt/dolphinscheduler/conf/common.properties  下面的这个配置中8088直接在配置成端口即可 yarn.application.status.address=http://yarnIp1:808

调度
置顶 原创 2021-09-13 22:02:33 674 阅读

CDH 集群 使用 JindoFS SDK 访问 OSS

CDH 集群 使用 JindoFS SDK 访问 OSS CDH（Cloudera's Distribution, including Apache Hadoop）是众多Hadoop发行版本中的一种，本文以CDH 5.16.2为例介绍如何配置CDH支持使用JindoFS SDK访问OSS。 步骤 1. 安装 jar 包 下载最新的jar包 jindofs-sdk-x.x.x.jar (下载页面)，

hadoop
oss
置顶 原创 推荐 2021-09-13 13:38:45 3596 阅读

挖矿木马自助清理手册

本文为腾讯安全专家撰写的《挖矿木马自助清理手册》，可以为政企客户安全运维人员自助排查清理挖矿木马提供有益参考。 一、什么是挖矿木马 挖矿木马会占用CPU进行超频运算，从而占用主机大量的CPU资源，严重影响服务器上的其他应用的正常运行。黑客为了得到更多的算力资源，一般都会对全网进行无差别扫描，同时利用SSH爆破和漏洞利用等手段攻击主机。   部分挖矿木马还具备蠕虫化的特点，在主机被成功入侵之后，挖矿

linux
置顶 转载 2021-09-10 10:15:52 494 阅读

dolphinscheduler调度中执行python报错的处理过程

写了一个简单的helloworld做测试发现，这个路径并不是我环境中的路径，执行结果如下 解决思路： 先查看env下的ds的配置环境如下： 发现这个配置是原来的配置，不是我机器上的配置，原来默认python的配置是/opt/soft/python/bin/python，这个是原来ds环境自带的，后来我改成我的测试环境的配置是： 重启work节点后问题解决 解决问题如下图：

调度报错处理
置顶 原创 推荐 2021-09-09 18:53:46 7773 阅读 1点赞

大数据中常见的数据倾斜解决的办法

第一种方案： 对数据从源端进行聚合操作 第二种方案： 对倾斜的key进行过滤 第三种方案： 增加shuffle的并行度 第四种方案： 使用随机的key进行双重的group聚合 第五种方案： 将reduce join替换为map join 第六种方案： 使用随机的key进行两次join操作 第七种方案： 使用随机数以及扩容表进行join操作

hive
数据倾斜
置顶 原创 2021-09-08 10:59:31 949 阅读

hive on spark在后台插入数据到hudi表报错的处理

报错的内容如下：大至意思是找不到hive的一个parquet的类解决方案：查看了一下后台访问加载的时候，spark加载不到hive的hive-exec-2.1.1-cdh6.3.0-core.jar和hive-exec-2.1.1-cdh6.3.0.jar这两个jar包，因为只放了hudi的jar包解决方案：cd /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0

jar
hive
置顶 原创 精选 2021-12-30 20:39:42 1326 阅读
Flink 高效sink写入OSS

Flink 高效sink写入OSS

内容框架：背景介绍功能介绍如何配置如何使用背景介绍Apache Flink 简介Apache Flink 是新一代大数据计算引擎的代表，以分布式流计算为核心，同时支持批处理。特点：低延时：Flink 流式计算可以做到亚秒甚至毫秒级延时，相比之下 Spark 流计算很难达到秒级高吞吐：Flink 以分布式快照算法实现容错，对吞吐量的影响很小高容错：基于分布式快照算法，Flink 实现了低代价、高效的

flink
java
github
jar
上传
置顶 原创 精选 2021-11-09 17:23:41 3308 阅读

hive on spark参数调整

前言 Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用on YARN部署方式来说明。Driver参数spark.driver.cores该参数表示每个Executor可

spark
hive
hdfs
数据
单节点
置顶 原创 精选 2021-11-01 17:56:17 1703 阅读

cdh集成阿里云oss报错处理

ErrorMsg: [RequestId]: 61713C8701FFEC3337A1C45C [HostId]: oss-cn-shenzhen-internal.aliyuncs.com [ErrorMessage]: [E1010]HTTP/1.1 400 Bad Request: <?xml version="1.0" encoding="UTF-8"?><Error&g

oss
spark
置顶 原创 2021-10-22 01:16:02 1652 阅读 16点赞 1收藏 4评论

hadoop的日常操作

一、清理空间步骤1.删除日志和回收站hdfs dfs -rm -r -skipTrash /user/*/.Trash/*hdfs dfs -rm -r -skipTrash /var/log/hadoop-yarn/apps/tools/logs/*hdfs dfs -rm -r -skipTrash /group/user/*/meta/hive-exec/*/*2.减少大表副本数a、查找大表

hadoop
置顶 原创 精选 2021-10-08 09:40:33 1346 阅读 7点赞 1收藏 3评论

hue创建hive表的时候显示注释乱码

问题环境软件 版本CDH 6.3.0hive 2.1.1-cdh6.3.0问题原因其实hive的元数据都是存储在数据库里面，目前支持mysql,oracle,Postgres和MS SQL Server。如果我们建表发现乱码，很显然就可以归类到数据库表乱码问题。本例关联的数据库是mysql。 表名如下：需要修改mysql的hive的的字符改成utf-8解决方案：在​​mysql​​对应的​​hiv

hive
乱码
置顶 原创 精选 2021-09-23 16:57:33 3891 阅读

centos6.6静默部署oracle11GR2

Centos 6.6静默安装Oracle的教程 一、配置Centos 6.6 1、安装数据库需要的软件包 yum -y install binutils compat-libstdc++ elfutils-libelf elfutils-libelf-devel glibc glibc-common glibc-devel glibc-headers gcc gcc-c++ libaio liba

oracle静默
置顶 原创 推荐 2021-08-27 07:37:52 1231 阅读 2点赞 1收藏 2评论

mysql5.7.23主从安装部署，并开启GTID

[client] port=3306 socket=/data/mysql/data/mysql.sock [mysqldump] max_allowed_packet=1G default_character_set=utf8mb4 [mysql] no-auto-rehash default_character_set=utf8mb4 prompt=[\\u@\\h][\\d]>\\

5.7.23
置顶 原创 推荐 2021-08-26 12:09:17 2011 阅读 1点赞 1收藏

Atlas2.1.0集成CDH6.3.0部署

Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。 Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。 如果没有Atlas大数据表依赖问题不好解决，元数据管理需要自

atlas
置顶 原创 推荐 2021-08-21 15:46:53 10000+阅读 3点赞 3收藏 8评论

如何把本地的hdfs数据转存到oss

--如何把分区[20210802]从本地磁盘转移到oss上存储（即：做到部分分区在本地磁盘存储，部分分区在oss存储） 1.通过命令复制过去hadoop distcp hdfs://bigdata/user/hive/warehouse/test.db/dim_sony_dev_list_oss2/pt=20210802 oss://dbbigdata/hangwenping/dim_sony_d

分区转移
置顶 原创 2021-08-05 18:40:19 593 阅读

任务在yarn跑成功了，但是dolphinscheduler调度上显示失败的处理过程

yarn任务上面显示任务跑成功。 dolphinscheduler上显示 通过服务器查看后台的work日志，有报错 报错的内容是因为连接RM主机超时。 查看common.properties的yarn的配置，是rm配置的主机配置错了，重新配置完后，重启work节点，重跑任务，问题解决。   重启命令 进入以下路径： [root@dbos-bigdata-test003 dolphinsch

问题处理
置顶 原创 2021-08-05 12:58:15 2084 阅读

haproxy高可用的配置

#---------------------------------------------------------------------# Example configuration for a possible web application.  See the# full configuration options online.##   http://haproxy.1wt.eu/dow

haproxy
置顶 原创 2021-08-03 17:08:11 279 阅读

Haproxy方式实现的Impala负载均衡在Hue中配置Impala服务和impala shell

Haproxy方式实现的Impala负载均衡在Hue中配置Impala服务的负载均衡。   内容概述 1.测试环境描述 2.Hue配置Impala负载均衡 3.测试Impala负载均衡 4.总结   测试环境 1.CM和CDH版本为5.13.1 2.Haproxy版本为1.5.18   前置条件 1.已配置好Haproxy实现的Impala负载均衡   2.环境描述     在CDH集

cdh
置顶 原创 2021-08-03 16:52:10 1602 阅读
CDH6.3.0上配置各种对象存储

CDH6.3.0上配置各种对象存储

cm-hdfs: ufile: 还需添加jar包     S3:是自带jar包     OSS: CDH6不需要下载包, CDH5需要 core-site.xml 的群集范围高级配置代码段（安全阀）         fs.oss.endpoint oss-eu-west-1.aliyuncs.com              #oss的外网地址fs.oss.accessKeyId fs.

cdh
置顶 原创 推荐 2021-07-27 17:54:03 2566 阅读 1评论

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯