江南独孤客的博客_大数据篇,数据库篇,Linux原创(6)

按发布时间
按阅读量
时间轴

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
原创

全部原创转载翻译

Dolphinscheduler中Hive慢查询的耗时最时间最长告警

import pymysqlimport jsonimport requestsimport hmacimport hashlibimport timeimport base64import urllibfrom DBUtils.PooledDB import PooledDB# 数据库连接池需要执行安装 pip3 install DBUtils==1.3from apscheduler.sc

mysql

json

sql

置顶原创精选 2022-06-06 17:31:13 761 阅读 1点赞 1收藏 2评论

mac电脑如何删除其他python版本的包

1.获取系统所有内置的python版本（python/python3 --version是查看最新版本）ls /System/Library/Frameworks/Python.framework/Versions2.获取所有自己安装的python版本is /Library/Frameworks/Python.framework/Versions3.例如当前有python3.8 和3.9两个版本删

python

文件名

新版本

置顶原创 2022-06-06 10:42:55 2041 阅读

HIVE-HUE 权限控制

HIVE权限控制数据分析小伙伴需要通过hue客户端对hive的数据进行查询，主要创建三个用户，Hue账号，linux账号，hive中角色。Hue添加用户通过Hue访问hive，首先要在Hue创建登录用户并授予权限。Linux添加用户useradd allsel #添加用户passwd allsel #设置用户密码gpasswd -a al

hive

hadoop

apache

置顶原创精选 2022-05-31 20:23:43 3334 阅读 1收藏

Kudu_tool备份还原使用文档

日期版本修订说明修改人2020-08-3V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 32. 脚本目录： 42.1 需要修改变量 42.2 导出表数据结构 52.3 导入表结构并创建表 62.4 备份kudu表数据 7

hdfs

数据

hive

置顶原创 2022-05-30 20:12:49 796 阅读 3评论 Word文档导入

Kudu表数据备份还原说明

文档目的ods层kudu大表数据迁移到hive迁移步骤先将数据从kudu备份到hdfs上，再从hdfs将数据还原到hive数据备份脚本#!/bin/bashdt=`date "+%Y%m%d %H:%M:%S"`echo "$dt 开始数据备份！" >> ./backup.logsudo -u hdfs spark-submit --master yarn \ --class o

jar

数据

hdfs

置顶原创精选 2022-05-30 20:00:58 1262 阅读 Word文档导入

Impala自动化导数据

目标和范围impala修改impala_shell.py文件#修改impala客户端代码（一个节点）vi /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/impala-shell/impala_shell.py密码自动化配置options.ldap_password = 'hive' 测试密码输入#提交流程代码impala-s

hive

sql

cloudera

置顶原创 2022-05-28 10:55:39 257 阅读 Word文档导入

Hue+Dolphinscheduler+Hive+ES+Waterdrop基于混合计算demo

目录基于混合计算demo 11. 创建hdfs公有库和私有库（运维操作） 21.1. 创建hdfs公有库并授予可读可写权限 21.2. 创建hdfs私有库 22. 创建数据库（运维操作） 33. 授权（运维操作） 43.2. 登入hue超级管理员账号 44. 创建工作流（kudu-hive-mysql） 74.1. 创建start

hive

mysql

hdfs

置顶原创 2022-05-28 10:48:37 1514 阅读 Word文档导入

Impala运维规范

目录Impala运维规范 11.账号使用规范 22.连接规范 23.巡检规范 23.1内存使用 23.2cpu使用率 33.3磁盘io负载 33.4网络io负载 44监控范围 44.1各 Impala Daemons 中的总 Total Used Memory 44.2各 Impala Daemons 中的总 R

运维

sed

ide

置顶原创精选 2022-05-28 10:44:23 732 阅读 Word文档导入

去除Linux⽂件中的注释⾏和空⾏

⾸先了解⼀下grep的使⽤ grep 参数 "正则字符串" ⽂件名参数 -v 列出不匹配的⾏ -i 匹配模式不区分⼤⼩写⼀、去掉注释⾏ 1.查看去掉以#号开头的⾏，grep -v "^#" ⽂件2.将操作后的结果储存在⽬标⽂件中，grep -v "^#" ⽂件 > ⽬标⽂件⼆、去掉空⾏ 1.去掉空⾏，grep -v "^$" ⽂件 2.将去除空⾏后的⽂件追加在某⽂件，grep -v "^

字符串

正则

匹配模式

置顶原创 2022-05-27 10:38:24 202 阅读

Impala自动同步Hive元数据

目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 32. 非生产环境测试结果 42.1 impala参数调整前测试 42.2impala参数调整后测试 43. Impala现有环境介绍 43.1现有集群规模 43.2调参缘由 43.3离

hive

数据

xml

置顶原创推荐 2022-05-27 10:07:55 2491 阅读 5点赞 1收藏 Word文档导入

Hadoop HDFS trash 回收站

namevaluedescriptionfs.trash.interval0删除文件的存活时间，单位分钟，如果是0禁用回收站；可以在服务端及客户端配置此参数；如果服务端禁用了，则检查客户端配置；如果服务端启用了，则忽略客户端配置fs.trash.checkpoint.interval0垃圾检查点之间的分钟数，应小于或等于fs.trash.interval；如果为0，则该值设置为fs.trash.

检查点

服务端

客户端

置顶原创 2022-05-27 09:53:21 439 阅读

Hive跨集群和版本迁移

公司重新搭建CDH6.3.0，并把旧集群Hive1.1迁移新集群Hive2.1，记录一下过程。一. 迁移Hive数据和MySQL中的matastore通过DistCp拷贝Hive数据到新集群，并从MySQL中导出Hive的元数据上传到新集群，最后在新集群MySQL中导入Hive元数据，并更新Hive版本，修改信息。1. 迁移Hive数据和MySQL中的matastore版本差异大，使用htfpha

hive

hdfs

mysql

置顶原创推荐 2022-05-25 16:18:15 1630 阅读 1收藏

Flink测试kafka数据写入和打印出

package com.steven.flinkdemo.kafka;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.da

flink

apache

kafka

置顶原创 2022-05-20 14:50:50 1081 阅读

Flink消费kafka数据

import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionE

kafka

flink

数据

置顶原创 2022-05-20 11:12:45 1869 阅读

Flink消费Kafka数据指定offset的五种模式

代码如下：FlinkKafkaConsumer consumer = new FlinkKafkaConsumer("topic", new SimpleStringSchema(), props); /*** Flink从topic中最初的数据开始消费*/consumer.setStartFromEarliest(); /*** Flink从topic中指定的时间点开始消费，指定时间点之前的数据

flink

数据

kafka

置顶原创 2022-05-19 14:11:40 2403 阅读

Scm-Server迁移

日期版本修订说明修改人2020-07-05V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 42. 当前环境概述 42.1离线数仓线上边缘节点使用情况 42.2 节点迁移方案 52.3 角色迁移操作过程

cloudera

离线

重启

置顶原创精选 2022-05-19 09:01:05 496 阅读 Word文档导入

农业大数据平台建设项目

农业大数据平台建设项目建议方案 ***2019年10月目录1 概述 11.1 相关政策 11.2 农业大数据 11.3 农业大数据平台 32 建设的可行性及需要解决的关键技术 52.1 建设的可行性 52.2 需解决的关键技术问题 52.2.1 数据存储 52.2.2 数据分析

数据

大数据

数据库

置顶原创精选 2022-05-19 08:55:51 3770 阅读 1收藏 Word文档导入

Flink on K8S删除S3存储下的checkpoint后报错如下

1.提交命令/usr/bin/zion-flink --config=etcd://xiantest09v.xian.zzt.qianxin-inc.cn:2483,xiantest10v.xian.zzt.qianxin-inc.cn:2483,xiantest11v.xian.zzt.qianxin-inc.cn:2483/da.xian.test --config.ns=da.xian.te

flink

客户端

重启

置顶原创精选 2022-05-17 15:35:14 1054 阅读

Flink入门之Flink程序开发步骤（Java语言）

我们如果要使用flink进行计算开发，一个完整的开发步骤是怎样的呢？Batch Analytics，右边是 Streaming Analytics。批量计算: 统一收集数据->存储到DB->对数据进行批量处理，对数据实时性邀请不高，比如生成离线报表、月汇总，支付宝年度账单（一年结束批处理计算）Streaming Analytics 流式计算，顾名思义，就是对数据流进行处理，如使用流式分

flink

数据

java

置顶原创精选 2022-05-16 19:40:31 4210 阅读 2收藏

LDAP的部署及用户同步

1安装openldap软件使用如下命令安装OpenLDAP：[root@node168 ~]# yum -y install openldap compat-openldap openldap-clients openldap-servers openldap-servers-sql openldap-devel migrationtools [root@incubator-t3-infr

unix

配置文件

置顶原创 2022-05-16 19:19:22 1757 阅读 1点赞 1收藏 Word文档导入

离线数仓关闭信息收集方案

xxxx2020年06月日期版本修订说明修改人2020-06-28V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 42. 当前环境概述 42.1离

离线

数据

测试评审

置顶原创 2022-05-16 17:57:06 208 阅读 Word文档导入

ELK单机版的部署安装

一、简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口操作ES，也可以利用Java API。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。我们建立一个网站或应用程序，

elasticsearch

java

linux

置顶原创 2022-05-16 17:51:09 1732 阅读 Word文档导入

Ceph分布式存储搭建

版本1.1记录者王昱翔时间2019年5与31日主机信息规划主机名Ip服务组件ceph205.cn192.168.100.205Mon 控制节点 osd cephceph206.cn192.168.100.206Mon osd msd cephceph207.cn192.168.100.207Mon osd msd cephgit208.cn192.168

git

docker

centos

置顶原创 2022-05-16 17:43:51 1095 阅读 Word文档导入

Mysql主从部署

目录一、概述 21.mysql主从复制原理 22.复制架构 3二、安装mysql 51.包下载方式 5三、基于binlog搭建主从复制 61.一主一从配置 62.新建用户授权 73.测试 94.基于 binlog 不影响业务搭建主从 95.主从复制 binlog 格式 116.主从

mysql

sql

数据

置顶原创精选 2022-05-16 17:40:43 856 阅读 Word文档导入

MacOS下安装Apache Flink及测试WordCount

1.安装java1.8版本steven@wangyuxiangdeMacBook-Pro  ~  java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed

flink

apache

java

置顶原创推荐 2022-05-16 15:43:40 3431 阅读 2点赞

Sqoop从Hive导出表到Mysql报错处理

[INFO] 2022-05-13 08:44:19.995 - [taskAppId=TASK-29-71229-742765]:[138] - -> 22/05/13 08:44:19 INFO mapreduce.Job: map 100% reduce 0% 22/05/13 08:44:19 INFO mapreduce.Job: Job job_1640763627991

java

mysql

apache

置顶原创精选 2022-05-13 09:22:40 2551 阅读

Flink高可用测试

介绍Flink on Yarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。其次Flink Job在恢复时，需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储：HDFS，所以HDFS也必须是高可用，同时J

zookeeper

mysql

flink

置顶原创精选 2022-05-12 09:28:16 1598 阅读

Hive连接时报错user:hadoop is not allowed to impersonate anonymous

报错如下：user:hadoop is not allowed to impersonate anonymous原因：用户代理未生效。检查core-site.xml文件是否正确配置。<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value><

hadoop

加载

hdfs

置顶原创 2022-05-11 17:40:26 2169 阅读 1点赞

hive的log4j2.properties滚动日志设置时间显示格式时日志

hive

apache

ios

置顶原创精选 2022-05-09 17:33:40 2208 阅读

HDFS的DataNode服务用root权限启动后在用Hadoop用户启动报错处理

报错日志org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown:10.4.151.60:8485: Call From master1/10.4.151.58 to slave1:8485 faile

hadoop

apache

java

置顶原创精选 2022-05-07 15:23:49 985 阅读

欢迎

首页
2
3
4
5
6
7
8
9
共614条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客