江南独孤客的博客_大数据篇,数据库篇,Linux(3)

按发布时间
按阅读量
2022年 300篇

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
全部

全部原创转载翻译

大数据技术之CM安装

第1章 Cloudera Manager1.1 cloudera manager的概念简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。1.2 cloudera manager的功能管理：对集群进行管理，如添加、删除节点等操作。

cloudera

hadoop

mysql

置顶原创精选 2022-06-17 21:46:07 276 阅读 1点赞

ClickHouse之DBA运维宝典

最近有位网友与我聊天，他是一名 DBA，问我在 ClickHouse 中有没有一些能够 “安家立命” 的运维 SQL 语句。我想对于这个问题很多朋友都会有兴趣，所以就在这里做一个简单的分享。在 ClickHouse 默认的 system 数据库下(databse)，拥有众多的系统表。我们对 ClickHouse 运行状态的各种信息，就主要来自于这些系统表。接下来就列举一些常用的运维 SQL 语句。

sed

sql

数据

置顶原创精选 2022-06-16 09:59:31 808 阅读 1点赞

CDH更改了主机名之后各个组件报错如下

主要原因是更改了主机名之后，zk中无法找到组件的配置信息了解决方案：在namenode的主机上执行以下命令hdfs zkfc -formatZK输入y敲回车确认重启各种组件之后问题解决

主机名

解决方案

配置信息

置顶原创 2022-06-15 14:55:16 420 阅读 1点赞

Kubernetes 标准化部署文档

审核人大数据运维组重要性中紧迫性中拟制人王昱翔提交日期2020年 12月28日一： kubernetes的使用1.1 kubernetes的概述与架构 1.1.1.kubernetes的概述：kubernetes，简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（p

fish

docker

json

置顶原创精选 2022-06-14 16:32:40 1754 阅读 1点赞 Word文档导入

Clickhouse重复数据处理

1.重复数据产生原因正常我们使用MergeTree引擎创建表，虽然MergeTree拥有主键，但是它的主键没有唯一键的约束，这就意味着即便多行数据的主键相同，它们还是能够被正常写入。这里如果需要去重，可以使用 ReplacingMergeTree，它能够在合并分区时删除重复的数据，但是只能对同一分区的数据去重，且去重依据是order by排序键。2.使用ReplacingMergeTree引擎创建

主键

创建表

数据

置顶原创精选 2022-06-13 14:35:23 9408 阅读

ClickHouse 亿级数据性能测试

最近由于项目需求使用到了 ClickHouse 做分析数据库，于是用测试环境做了一个单表 6 亿数据量的性能测试，记录一下测试结果，有做超大数据量分析技术选型需求的朋友可以参考下。服务器信息CPU：Intel Xeon Gold 6240 @ 8x 2.594GHz内存：32G系统：CentOS 7.6Linux内核版本：3.10.0磁盘类型：机械硬盘文件系统：ext4Clickhouse信息部署

sed

数据

性能测试

置顶原创精选 2022-06-12 18:30:58 1644 阅读 1点赞 1收藏 1评论 Word文档导入

HBase Shell操作、HBase创建表、添加数据、查看表数据、操作列簇、删除表

1. HBase Shell操作连接集群hbase shell2. 创建表create 'user','base_info'3. 向表中添加数据put 'user', 'rowkey_10', 'base_info:username', '张三'put 'user', 'rowkey_10', 'base_info:birthday', '2014-07-10'put

数据

删除表

添加数据

置顶原创精选 2022-06-07 14:44:59 6084 阅读 1点赞 1收藏 1评论

Dolphinscheduler中Hive慢查询的耗时最时间最长告警

import pymysqlimport jsonimport requestsimport hmacimport hashlibimport timeimport base64import urllibfrom DBUtils.PooledDB import PooledDB# 数据库连接池需要执行安装 pip3 install DBUtils==1.3from apscheduler.sc

mysql

json

sql

置顶原创精选 2022-06-06 17:31:13 761 阅读 1点赞 1收藏 2评论

mac电脑如何删除其他python版本的包

1.获取系统所有内置的python版本（python/python3 --version是查看最新版本）ls /System/Library/Frameworks/Python.framework/Versions2.获取所有自己安装的python版本is /Library/Frameworks/Python.framework/Versions3.例如当前有python3.8 和3.9两个版本删

python

文件名

新版本

置顶原创 2022-06-06 10:42:55 2042 阅读

HIVE-HUE 权限控制

HIVE权限控制数据分析小伙伴需要通过hue客户端对hive的数据进行查询，主要创建三个用户，Hue账号，linux账号，hive中角色。Hue添加用户通过Hue访问hive，首先要在Hue创建登录用户并授予权限。Linux添加用户useradd allsel #添加用户passwd allsel #设置用户密码gpasswd -a al

hive

hadoop

apache

置顶原创精选 2022-05-31 20:23:43 3334 阅读 1收藏

Kudu_tool备份还原使用文档

日期版本修订说明修改人2020-08-3V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 32. 脚本目录： 42.1 需要修改变量 42.2 导出表数据结构 52.3 导入表结构并创建表 62.4 备份kudu表数据 7

hdfs

数据

hive

置顶原创 2022-05-30 20:12:49 793 阅读 3评论 Word文档导入

Kudu表数据备份还原说明

文档目的ods层kudu大表数据迁移到hive迁移步骤先将数据从kudu备份到hdfs上，再从hdfs将数据还原到hive数据备份脚本#!/bin/bashdt=`date "+%Y%m%d %H:%M:%S"`echo "$dt 开始数据备份！" >> ./backup.logsudo -u hdfs spark-submit --master yarn \ --class o

jar

数据

hdfs

置顶原创精选 2022-05-30 20:00:58 1264 阅读 Word文档导入

Impala自动化导数据

目标和范围impala修改impala_shell.py文件#修改impala客户端代码（一个节点）vi /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/impala-shell/impala_shell.py密码自动化配置options.ldap_password = 'hive' 测试密码输入#提交流程代码impala-s

hive

sql

cloudera

置顶原创 2022-05-28 10:55:39 257 阅读 Word文档导入

Hue+Dolphinscheduler+Hive+ES+Waterdrop基于混合计算demo

目录基于混合计算demo 11. 创建hdfs公有库和私有库（运维操作） 21.1. 创建hdfs公有库并授予可读可写权限 21.2. 创建hdfs私有库 22. 创建数据库（运维操作） 33. 授权（运维操作） 43.2. 登入hue超级管理员账号 44. 创建工作流（kudu-hive-mysql） 74.1. 创建start

hive

mysql

hdfs

置顶原创 2022-05-28 10:48:37 1516 阅读 Word文档导入

Impala运维规范

目录Impala运维规范 11.账号使用规范 22.连接规范 23.巡检规范 23.1内存使用 23.2cpu使用率 33.3磁盘io负载 33.4网络io负载 44监控范围 44.1各 Impala Daemons 中的总 Total Used Memory 44.2各 Impala Daemons 中的总 R

运维

sed

ide

置顶原创精选 2022-05-28 10:44:23 732 阅读 Word文档导入

去除Linux⽂件中的注释⾏和空⾏

⾸先了解⼀下grep的使⽤ grep 参数 "正则字符串" ⽂件名参数 -v 列出不匹配的⾏ -i 匹配模式不区分⼤⼩写⼀、去掉注释⾏ 1.查看去掉以#号开头的⾏，grep -v "^#" ⽂件2.将操作后的结果储存在⽬标⽂件中，grep -v "^#" ⽂件 > ⽬标⽂件⼆、去掉空⾏ 1.去掉空⾏，grep -v "^$" ⽂件 2.将去除空⾏后的⽂件追加在某⽂件，grep -v "^

字符串

正则

匹配模式

置顶原创 2022-05-27 10:38:24 204 阅读

Impala自动同步Hive元数据

目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 32. 非生产环境测试结果 42.1 impala参数调整前测试 42.2impala参数调整后测试 43. Impala现有环境介绍 43.1现有集群规模 43.2调参缘由 43.3离

hive

数据

xml

置顶原创推荐 2022-05-27 10:07:55 2492 阅读 5点赞 1收藏 Word文档导入

Hadoop HDFS trash 回收站

namevaluedescriptionfs.trash.interval0删除文件的存活时间，单位分钟，如果是0禁用回收站；可以在服务端及客户端配置此参数；如果服务端禁用了，则检查客户端配置；如果服务端启用了，则忽略客户端配置fs.trash.checkpoint.interval0垃圾检查点之间的分钟数，应小于或等于fs.trash.interval；如果为0，则该值设置为fs.trash.

检查点

服务端

客户端

置顶原创 2022-05-27 09:53:21 439 阅读

Hive跨集群和版本迁移

公司重新搭建CDH6.3.0，并把旧集群Hive1.1迁移新集群Hive2.1，记录一下过程。一. 迁移Hive数据和MySQL中的matastore通过DistCp拷贝Hive数据到新集群，并从MySQL中导出Hive的元数据上传到新集群，最后在新集群MySQL中导入Hive元数据，并更新Hive版本，修改信息。1. 迁移Hive数据和MySQL中的matastore版本差异大，使用htfpha

hive

hdfs

mysql

置顶原创推荐 2022-05-25 16:18:15 1631 阅读 1收藏

Flink测试kafka数据写入和打印出

package com.steven.flinkdemo.kafka;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.da

flink

apache

kafka

置顶原创 2022-05-20 14:50:50 1081 阅读

Flink消费kafka数据

import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionE

kafka

flink

数据

置顶原创 2022-05-20 11:12:45 1869 阅读

Flink消费Kafka数据指定offset的五种模式

代码如下：FlinkKafkaConsumer consumer = new FlinkKafkaConsumer("topic", new SimpleStringSchema(), props); /*** Flink从topic中最初的数据开始消费*/consumer.setStartFromEarliest(); /*** Flink从topic中指定的时间点开始消费，指定时间点之前的数据

flink

数据

kafka

置顶原创 2022-05-19 14:11:40 2405 阅读

Scm-Server迁移

日期版本修订说明修改人2020-07-05V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 42. 当前环境概述 42.1离线数仓线上边缘节点使用情况 42.2 节点迁移方案 52.3 角色迁移操作过程

cloudera

离线

重启

置顶原创精选 2022-05-19 09:01:05 495 阅读 Word文档导入

农业大数据平台建设项目

农业大数据平台建设项目建议方案 ***2019年10月目录1 概述 11.1 相关政策 11.2 农业大数据 11.3 农业大数据平台 32 建设的可行性及需要解决的关键技术 52.1 建设的可行性 52.2 需解决的关键技术问题 52.2.1 数据存储 52.2.2 数据分析

数据

大数据

数据库

置顶原创精选 2022-05-19 08:55:51 3771 阅读 1收藏 Word文档导入

Flink on K8S删除S3存储下的checkpoint后报错如下

1.提交命令/usr/bin/zion-flink --config=etcd://xiantest09v.xian.zzt.qianxin-inc.cn:2483,xiantest10v.xian.zzt.qianxin-inc.cn:2483,xiantest11v.xian.zzt.qianxin-inc.cn:2483/da.xian.test --config.ns=da.xian.te

flink

客户端

重启

置顶原创精选 2022-05-17 15:35:14 1054 阅读

Flink入门之Flink程序开发步骤（Java语言）

我们如果要使用flink进行计算开发，一个完整的开发步骤是怎样的呢？Batch Analytics，右边是 Streaming Analytics。批量计算: 统一收集数据->存储到DB->对数据进行批量处理，对数据实时性邀请不高，比如生成离线报表、月汇总，支付宝年度账单（一年结束批处理计算）Streaming Analytics 流式计算，顾名思义，就是对数据流进行处理，如使用流式分

flink

数据

java

置顶原创精选 2022-05-16 19:40:31 4211 阅读 2收藏

LDAP的部署及用户同步

1安装openldap软件使用如下命令安装OpenLDAP：[root@node168 ~]# yum -y install openldap compat-openldap openldap-clients openldap-servers openldap-servers-sql openldap-devel migrationtools [root@incubator-t3-infr

unix

配置文件

置顶原创 2022-05-16 19:19:22 1757 阅读 1点赞 1收藏 Word文档导入

离线数仓关闭信息收集方案

xxxx2020年06月日期版本修订说明修改人2020-06-28V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 42. 当前环境概述 42.1离

离线

数据

测试评审

置顶原创 2022-05-16 17:57:06 207 阅读 Word文档导入

ELK单机版的部署安装

一、简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口操作ES，也可以利用Java API。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。我们建立一个网站或应用程序，

elasticsearch

java

linux

置顶原创 2022-05-16 17:51:09 1732 阅读 Word文档导入

Ceph分布式存储搭建

版本1.1记录者王昱翔时间2019年5与31日主机信息规划主机名Ip服务组件ceph205.cn192.168.100.205Mon 控制节点 osd cephceph206.cn192.168.100.206Mon osd msd cephceph207.cn192.168.100.207Mon osd msd cephgit208.cn192.168

git

docker

centos

置顶原创 2022-05-16 17:43:51 1095 阅读 Word文档导入

欢迎

首页
1
2
3
4
5
6
7
8
共300条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客