江南独孤客的博客_大数据篇,数据库篇,Linux(9)

按发布时间
按阅读量
2021年 253篇

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
全部

全部原创转载翻译

检查flink任务的脚本

#!/usr/bin/python#coding=utf8import jsonimport requestsimport sysclass checkflink: def getflinkid(self,name,defs): try: self.name = name res = requests.get('http://ip:7

flink

原创 2021-06-02 14:34:28 750 阅读

检查yarn的任务

#!/usr/bin/env python# -*- coding:utf-8 -*-from dingtalkchatbot.chatbot import DingtalkChatbotimport jsonimport requestsimport datetimeheaders = {'Content-Type': 'application/json;charset=utf-8'}# dd_

python

原创 2021-06-02 14:29:51 771 阅读

如何升级Cloudera Manager和CDH

1.文档编写目的本文档讲述如何升级Cloudera Manager和CDH，通过本文档，您将学习到以下知识：1.如何对Cloudera Manager进行停机升级2.如何对CDH进行停机升级3.如何在不影响集群作业的情况下进行CDH滚动升级文档主要分为以下几步：1.Cloudera升级概述2.Minor版本Cloudera Manager和CDH升级3.Maintenance版本滚动升级CDH4.

cdh

转载 2021-06-02 09:48:33 844 阅读

CDH5与CDH6对比

1.文档编写目的Cloudera于2018年8月30日正式发布CDH6.0.0，至2019年2月19日，最新的迭代版本为CDH6.1.1，可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于C6，而CDH5会慢慢的停止更新，所以考虑新搭集群使用CDH6，或者想把已有的CDH5集群升级到CDH6。第一个问题就是

cdh

原创 2021-06-02 09:30:30 1545 阅读

大数据tensorflowonspark 进行安装和测试。

1. 概述大数据tensorflowonspark 进行安装和测试。2 .环境所选操作系统地址和软件版本节点类型Centos7.3 64位192.168.2.31（master）Java：jdk 1.8Scala:2.10.4Hadoop:2.7.3Spark:2.12.3TensorFlowOnSpark:0.8.0Python2.7MasterCentos7.3 64位192.168.2.32

python

原创 2021-06-01 17:54:51 692 阅读 1收藏

CDH日志收集上传到Cloudera导致的集群故障

需要对CDH集群关闭Collect Diagnostic Data Globally，减少资源收集信息时占用大量的资源，每到周五晚上19：00都莫名的占用大量的CPU和内存，原来是因为集群自动收集日志报告给Cloudera官方。 1.关闭收集信息的操作1.1 进入集群管理---设置1.2 允许使用情况数据收集对钩打掉，点击保存更改即可1.3 关闭自动将诊断数据发送至clou

CDH日志收集

原创 2021-06-01 14:10:53 1991 阅读

CDH组件调优参考

hadoop组件说明默认参数修改参数hdfsdfs.datanode.data.dir/data/dfs/dn/data/dfs/dndfs.journalnode.edits.dir/data/dfs/jn/data/dfs/jndfs.namenode.name.dir/data/dfs/nn/data/dfs/nnhadoop.log.dir/var/log/hadoop-hdfs/var/

CDH

原创 2021-06-01 13:30:15 3281 阅读

es单机版的部署安装

es单机版的部署安装一、简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口操作ES，也可以利用Java API。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。我们建立一

ELK

原创 2021-06-01 11:29:36 4067 阅读

Centos 7.2部署ceph

Centos 7.2部署ceph一、系统简介数据备份是数据库在硬件或软件损坏时保证数据不丢失的重要手段，CEPH作为一种分布式带冗余的存储系统，有着重要地位，以下是ceph的安装过程。ceph有四大组件： Monitors: Ceph监视器（ceph-mon）负责维护集群状态的映射，包括监视器映射，管理器映射，OSD映射和CRUSH映射。这些映射是Ceph守护进程相互协调所需的关键集群状态。监视

linux

原创 2021-06-01 11:26:48 557 阅读

模拟uuid的故障的解决过程

模拟uuid的故障的解决过程一、制造故障的过程1. cd /var/lib/cloudera-scm-agent2. mv uuid uuid.bak3. Systemctl restart cloudera-scm-agent4. 出现以下故障二、恢复的过程1. 查看故障主机的uuid号2. echo -n "51a381f0-864a-49bd-81ae-8d6aba

UUID

原创 2021-06-01 11:16:06 1213 阅读

大数据的扩容流程

一:优先级：流程申请1.服务器下来后，申请其服务器权限2.编写服务器扩容方案（平台方），方案要在生产环境升级前进行评审。3.服务器相关白名单申请（kafka，mysql，redis，RDS等）需要ping通并在确认是否申请白名单4.项目经理提交预生产流程，结束后5.项目经理提交生产流程6.流程到大数据运维手里，进行操作二:初始化服务器权限下来后进行初始化1./etc/hosts配置检查，检查所有机

扩容

原创 2021-06-01 11:09:39 555 阅读

kudu的计算公式

kudu计算公式：假设:tablet server 32台master 5台最大数据存储量为，复制和压缩后，每个tablet server 9.6TB。每个tablet server管理的tablet为3000，包含tablet的副本。基于以上限制，可以推测出一下内容：分区=每行大小*总条数<=3.2Gtablet（限制每一台tablet-server 1500个分区）,目前现在总kudu表

kudu

原创 2021-06-01 11:06:40 754 阅读

详解linux运维工程师高级篇（大数据安全方向）

详解linux运维工程师高级篇（大数据安全方向）简介：从运维青铜到运维白银再到运维黄金，这里就要牵扯到方向问题也就是装备，根据自己的爱好，每个人都应该选择一个适合自己和喜欢自己的一个职业技术方向，如：大数据安全，开发运维，云计算运维等等。而掌握的越多前言技术也就是更多的装备，才能更好的在it行业混下去，毕竟it技术更新太快，初级篇和中级篇前面已介绍。初级篇：详解Linux运维工程师入

hadoop

原创 2021-05-31 10:29:31 784 阅读

欢迎

首页
2
3
4
5
6
7
8
9
共253条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客