江南独孤客的博客_大数据篇原创博文(5)

在Yarn上启动Flink的两种方式及区别

在Yarn启动Flink主要的两种方式：1.启动一个Yarn Session:在Yarn内部初始化一个Flink集群常驻一直运行。2.直接在Yarn上提交运行Flink作业：每次提交一个Job到Yarn集群，Yarn集群开辟资源初始化一个Flink集群

flink

初始化

置顶原创 2022-06-29 22:04:06 656 阅读

大数据技术之CM安装

Cloudera Manager1.1 cloudera manager的概念简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。1.2 cloudera manager的功能管理：对集群进行管理，如添加、删除节点等操作。监控：

cloudera

hadoop

java

置顶原创精选 2022-06-29 12:54:40 652 阅读 Word文档导入

Hadoop出现DataXceiver error processing WRITE_BLOCK operation

字面理解为文件操作超租期，实际上就是data stream操作过程中文件被删掉了。以前也遇到过，通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。修改1、datanode所在的linux服务器提高文件句柄参数；2、增加HDFS的datanode句柄参数：dfs.datanode.max.transfer.threads。修改hdfs-site.xml&

hdfs

linux服务器

xml

置顶原创 2022-06-28 04:33:41 2759 阅读

hue新建账号报错解决方案

22/06/26 19:03:45 INFO client.SparkClientImpl: 22/06/26 19:03:45 INFO conf.Configuration: resource-types.xml not found22/06/26 19:03:45 INFO client.SparkClientImpl: 22/06/26 19:03:45 INFO resource.Res

spark

java

apache

置顶原创精选 2022-06-26 19:22:44 435 阅读

Hadoop 3.x 和2.x主要区别

最低Java版本从7升级到8引入纠删码(Erasure Coding)主要解决数据量大到一定程度磁盘空间存储能力不足的问题.HDFS中的默认3副本方案在存储空间中具有200%的额外开销。但是，对于I/O活动相对较少冷数据集，在正常操作期间很少访问其他块副本，但仍然会消耗与第一个副本相同的资源量。纠删码能勾在不到50%数据冗余的情况下提供和3副本相同的容错能力，因此，使用纠删码作为副本机制的改进是自

hadoop

hdfs

堆内存

置顶原创 2022-06-24 11:43:40 529 阅读

白总的需求:Flink提交的命令

1.在gw05机器上运行 nc -l 99992.切换到flink用户 sudo su - flink3.提交jar包flink run -m yarn-cluster -d -yjm 1024 -ytm 1024 -ys 2 -c com.dangbei.flink_test.wordcount.Test_WordCount -yD taskmanager.memory.managed.fra

flink

jar包

置顶原创 2022-06-23 16:01:35 517 阅读 1点赞 1收藏 1评论

查看HDFS文件统计数

hdfs fsck /tmp/logs/tools/logs/ -files -blocks -locations -racks

hdfs

置顶原创 2022-06-22 14:12:10 343 阅读

ELK部署

原理说明Elasticsearch 是一个实时的分布式的可扩展的使用REST接口的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。它基于Apache Lucene (TM)的开源搜索引擎，Lucene 非常复杂，你需要深入的了解检索相关知识来理解它是如何工作的。Elasticsearch 也是使用 Java 编写并使用 Lucene 来建立索引

elasticsearch

docker

数据

置顶原创精选 2022-06-18 09:50:05 666 阅读 1点赞

大数据技术之CM安装

第1章 Cloudera Manager1.1 cloudera manager的概念简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。1.2 cloudera manager的功能管理：对集群进行管理，如添加、删除节点等操作。

cloudera

hadoop

mysql

置顶原创精选 2022-06-17 21:46:07 275 阅读 1点赞

ClickHouse之DBA运维宝典

最近有位网友与我聊天，他是一名 DBA，问我在 ClickHouse 中有没有一些能够 “安家立命” 的运维 SQL 语句。我想对于这个问题很多朋友都会有兴趣，所以就在这里做一个简单的分享。在 ClickHouse 默认的 system 数据库下(databse)，拥有众多的系统表。我们对 ClickHouse 运行状态的各种信息，就主要来自于这些系统表。接下来就列举一些常用的运维 SQL 语句。

sed

sql

数据

置顶原创精选 2022-06-16 09:59:31 810 阅读 1点赞

CDH更改了主机名之后各个组件报错如下

主要原因是更改了主机名之后，zk中无法找到组件的配置信息了解决方案：在namenode的主机上执行以下命令hdfs zkfc -formatZK输入y敲回车确认重启各种组件之后问题解决

主机名

解决方案

配置信息

置顶原创 2022-06-15 14:55:16 420 阅读 1点赞

Kubernetes 标准化部署文档

审核人大数据运维组重要性中紧迫性中拟制人王昱翔提交日期2020年 12月28日一： kubernetes的使用1.1 kubernetes的概述与架构 1.1.1.kubernetes的概述：kubernetes，简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（p

fish

docker

json

置顶原创精选 2022-06-14 16:32:40 1754 阅读 1点赞 Word文档导入

Clickhouse重复数据处理

1.重复数据产生原因正常我们使用MergeTree引擎创建表，虽然MergeTree拥有主键，但是它的主键没有唯一键的约束，这就意味着即便多行数据的主键相同，它们还是能够被正常写入。这里如果需要去重，可以使用 ReplacingMergeTree，它能够在合并分区时删除重复的数据，但是只能对同一分区的数据去重，且去重依据是order by排序键。2.使用ReplacingMergeTree引擎创建

主键

创建表

数据

置顶原创精选 2022-06-13 14:35:23 9406 阅读

ClickHouse 亿级数据性能测试

最近由于项目需求使用到了 ClickHouse 做分析数据库，于是用测试环境做了一个单表 6 亿数据量的性能测试，记录一下测试结果，有做超大数据量分析技术选型需求的朋友可以参考下。服务器信息CPU：Intel Xeon Gold 6240 @ 8x 2.594GHz内存：32G系统：CentOS 7.6Linux内核版本：3.10.0磁盘类型：机械硬盘文件系统：ext4Clickhouse信息部署

sed

数据

性能测试

置顶原创精选 2022-06-12 18:30:58 1645 阅读 1点赞 1收藏 1评论 Word文档导入

HBase Shell操作、HBase创建表、添加数据、查看表数据、操作列簇、删除表

1. HBase Shell操作连接集群hbase shell2. 创建表create 'user','base_info'3. 向表中添加数据put 'user', 'rowkey_10', 'base_info:username', '张三'put 'user', 'rowkey_10', 'base_info:birthday', '2014-07-10'put

数据

删除表

添加数据

置顶原创精选 2022-06-07 14:44:59 6082 阅读 1点赞 1收藏 1评论

Dolphinscheduler中Hive慢查询的耗时最时间最长告警

import pymysqlimport jsonimport requestsimport hmacimport hashlibimport timeimport base64import urllibfrom DBUtils.PooledDB import PooledDB# 数据库连接池需要执行安装 pip3 install DBUtils==1.3from apscheduler.sc

mysql

json

sql

置顶原创精选 2022-06-06 17:31:13 761 阅读 1点赞 1收藏 2评论

HIVE-HUE 权限控制

HIVE权限控制数据分析小伙伴需要通过hue客户端对hive的数据进行查询，主要创建三个用户，Hue账号，linux账号，hive中角色。Hue添加用户通过Hue访问hive，首先要在Hue创建登录用户并授予权限。Linux添加用户useradd allsel #添加用户passwd allsel #设置用户密码gpasswd -a al

hive

hadoop

apache

置顶原创精选 2022-05-31 20:23:43 3334 阅读 1收藏

Kudu_tool备份还原使用文档

日期版本修订说明修改人2020-08-3V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 32. 脚本目录： 42.1 需要修改变量 42.2 导出表数据结构 52.3 导入表结构并创建表 62.4 备份kudu表数据 7

hdfs

数据

hive

置顶原创 2022-05-30 20:12:49 796 阅读 3评论 Word文档导入

Kudu表数据备份还原说明

文档目的ods层kudu大表数据迁移到hive迁移步骤先将数据从kudu备份到hdfs上，再从hdfs将数据还原到hive数据备份脚本#!/bin/bashdt=`date "+%Y%m%d %H:%M:%S"`echo "$dt 开始数据备份！" >> ./backup.logsudo -u hdfs spark-submit --master yarn \ --class o

jar

数据

hdfs

置顶原创精选 2022-05-30 20:00:58 1262 阅读 Word文档导入

Impala自动化导数据

目标和范围impala修改impala_shell.py文件#修改impala客户端代码（一个节点）vi /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/impala-shell/impala_shell.py密码自动化配置options.ldap_password = 'hive' 测试密码输入#提交流程代码impala-s

hive

sql

cloudera

置顶原创 2022-05-28 10:55:39 257 阅读 Word文档导入

Hue+Dolphinscheduler+Hive+ES+Waterdrop基于混合计算demo

目录基于混合计算demo 11. 创建hdfs公有库和私有库（运维操作） 21.1. 创建hdfs公有库并授予可读可写权限 21.2. 创建hdfs私有库 22. 创建数据库（运维操作） 33. 授权（运维操作） 43.2. 登入hue超级管理员账号 44. 创建工作流（kudu-hive-mysql） 74.1. 创建start

hive

mysql

hdfs

置顶原创 2022-05-28 10:48:37 1512 阅读 Word文档导入

Impala运维规范

目录Impala运维规范 11.账号使用规范 22.连接规范 23.巡检规范 23.1内存使用 23.2cpu使用率 33.3磁盘io负载 33.4网络io负载 44监控范围 44.1各 Impala Daemons 中的总 Total Used Memory 44.2各 Impala Daemons 中的总 R

运维

sed

ide

置顶原创精选 2022-05-28 10:44:23 732 阅读 Word文档导入

Impala自动同步Hive元数据

目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 32. 非生产环境测试结果 42.1 impala参数调整前测试 42.2impala参数调整后测试 43. Impala现有环境介绍 43.1现有集群规模 43.2调参缘由 43.3离

hive

数据

xml

置顶原创推荐 2022-05-27 10:07:55 2491 阅读 5点赞 1收藏 Word文档导入

Hadoop HDFS trash 回收站

namevaluedescriptionfs.trash.interval0删除文件的存活时间，单位分钟，如果是0禁用回收站；可以在服务端及客户端配置此参数；如果服务端禁用了，则检查客户端配置；如果服务端启用了，则忽略客户端配置fs.trash.checkpoint.interval0垃圾检查点之间的分钟数，应小于或等于fs.trash.interval；如果为0，则该值设置为fs.trash.

检查点

服务端

客户端

置顶原创 2022-05-27 09:53:21 439 阅读

Hive跨集群和版本迁移

公司重新搭建CDH6.3.0，并把旧集群Hive1.1迁移新集群Hive2.1，记录一下过程。一. 迁移Hive数据和MySQL中的matastore通过DistCp拷贝Hive数据到新集群，并从MySQL中导出Hive的元数据上传到新集群，最后在新集群MySQL中导入Hive元数据，并更新Hive版本，修改信息。1. 迁移Hive数据和MySQL中的matastore版本差异大，使用htfpha

hive

hdfs

mysql

置顶原创推荐 2022-05-25 16:18:15 1634 阅读 1收藏

Flink测试kafka数据写入和打印出

package com.steven.flinkdemo.kafka;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.da

flink

apache

kafka

置顶原创 2022-05-20 14:50:50 1081 阅读

Flink消费kafka数据

import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionE

kafka

flink

数据

置顶原创 2022-05-20 11:12:45 1868 阅读

Flink消费Kafka数据指定offset的五种模式

代码如下：FlinkKafkaConsumer consumer = new FlinkKafkaConsumer("topic", new SimpleStringSchema(), props); /*** Flink从topic中最初的数据开始消费*/consumer.setStartFromEarliest(); /*** Flink从topic中指定的时间点开始消费，指定时间点之前的数据

flink

数据

kafka

置顶原创 2022-05-19 14:11:40 2403 阅读

Scm-Server迁移

日期版本修订说明修改人2020-07-05V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 42. 当前环境概述 42.1离线数仓线上边缘节点使用情况 42.2 节点迁移方案 52.3 角色迁移操作过程

cloudera

离线

重启

置顶原创精选 2022-05-19 09:01:05 496 阅读 Word文档导入

农业大数据平台建设项目

农业大数据平台建设项目建议方案 ***2019年10月目录1 概述 11.1 相关政策 11.2 农业大数据 11.3 农业大数据平台 32 建设的可行性及需要解决的关键技术 52.1 建设的可行性 52.2 需解决的关键技术问题 52.2.1 数据存储 52.2.2 数据分析

数据

大数据

数据库

置顶原创精选 2022-05-19 08:55:51 3770 阅读 1收藏 Word文档导入

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

在Yarn上启动Flink的两种方式及区别

大数据技术之CM安装

Hadoop出现DataXceiver error processing WRITE_BLOCK operation

hue新建账号报错解决方案

Hadoop 3.x 和2.x主要区别

白总的需求:Flink提交的命令

查看HDFS文件统计数

ELK部署

大数据技术之CM安装

ClickHouse之DBA运维宝典

CDH更改了主机名之后各个组件报错如下

Kubernetes 标准化部署文档

Clickhouse重复数据处理

ClickHouse 亿级数据性能测试

HBase Shell操作、HBase创建表、添加数据、查看表数据、操作列簇、删除表

Dolphinscheduler中Hive慢查询的耗时最时间最长告警

HIVE-HUE 权限控制

Kudu_tool备份还原使用文档

Kudu表数据备份还原说明

Impala自动化导数据

Hue+Dolphinscheduler+Hive+ES+Waterdrop基于混合计算demo

Impala运维规范

Impala自动同步Hive元数据

Hadoop HDFS trash 回收站

Hive跨集群和版本迁移

Flink测试kafka数据写入和打印出

Flink消费kafka数据

Flink消费Kafka数据指定offset的五种模式

Scm-Server迁移

农业大数据平台建设项目

欢迎