#!/usr/bin/python#coding=utf8import jsonimport requestsimport sysclass checkflink: def getflinkid(self,name,defs): try: self.name = name res = requests.get('http://ip:7
#!/usr/bin/env python# -*- coding:utf-8 -*-from dingtalkchatbot.chatbot import DingtalkChatbotimport jsonimport requestsimport datetimeheaders = {'Content-Type': 'application/json;charset=utf-8'}# dd_
1.文档编写目的Cloudera于2018年8月30日正式发布CDH6.0.0，至2019年2月19日，最新的迭代版本为CDH6.1.1，可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于C6，而CDH5会慢慢的停止更新，所以考虑新搭集群使用CDH6，或者想把已有的CDH5集群升级到CDH6。第一个问题就是
1. 概述大数据tensorflowonspark 进行安装和测试。2 .环境所选操作系统地址和软件版本节点类型Centos7.3 64位192.168.2.31（master）Java：jdk 1.8Scala:2.10.4Hadoop:2.7.3Spark:2.12.3TensorFlowOnSpark:0.8.0Python2.7MasterCentos7.3 64位192.168.2.32
需要对CDH集群关闭Collect Diagnostic Data Globally，减少资源收集信息时占用大量的资源，每到周五晚上19：00都莫名的占用大量的CPU和内存，原来是因为集群自动收集日志报告给Cloudera官方。 1.关闭收集信息的操作1.1 进入集群管理---设置1.2 允许使用情况数据收集对钩打掉，点击保存更改即可1.3 关闭自动将诊断数据发送至clou
hadoop组件说明默认参数修改参数hdfsdfs.datanode.data.dir/data/dfs/dn/data/dfs/dndfs.journalnode.edits.dir/data/dfs/jn/data/dfs/jndfs.namenode.name.dir/data/dfs/nn/data/dfs/nnhadoop.log.dir/var/log/hadoop-hdfs/var/
es单机版的部署安装一、简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口操作ES，也可以利用Java API。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。我们建立一
Centos 7.2部署ceph一、系统简介数据备份是数据库在硬件或软件损坏时保证数据不丢失的重要手段，CEPH作为一种分布式带冗余的存储系统，有着重要地位，以下是ceph的安装过程。ceph有四大组件： Monitors: Ceph监视器（ceph-mon）负责维护集群状态的映射，包括监视器映射，管理器映射，OSD映射和CRUSH映射。这些映射是Ceph守护进程相互协调所需的关键集群状态。监视
模拟uuid的故障的解决过程一、制造故障的过程1. cd /var/lib/cloudera-scm-agent2. mv uuid uuid.bak3. Systemctl restart cloudera-scm-agent4. 出现以下故障二、恢复的过程1. 查看故障主机的uuid号2. echo -n "51a381f0-864a-49bd-81ae-8d6aba
一:优先级：流程申请1.服务器下来后，申请其服务器权限2.编写服务器扩容方案（平台方），方案要在生产环境升级前进行评审。3.服务器相关白名单申请（kafka，mysql，redis，RDS等）需要ping通并在确认是否申请白名单4.项目经理提交预生产流程，结束后5.项目经理提交生产流程6.流程到大数据运维手里，进行操作二:初始化服务器权限下来后进行初始化1./etc/hosts配置检查，检查所有机
kudu计算公式：假设:tablet server 32台master 5台最大数据存储量为，复制和压缩后，每个tablet server 9.6TB。每个tablet server管理的tablet为3000，包含tablet的副本。基于以上限制，可以推测出一下内容：分区=每行大小*总条数<=3.2Gtablet（限制每一台tablet-server 1500个分区）,目前现在总kudu表
详解linux运维工程师高级篇（大数据安全方向）简介： 从运维青铜到运维白银再到运维黄金，这里就要牵扯到方向问题也就是装备，根据自己的爱好，每个人都应该选择一个适合自己和喜欢自己的一个职业技术方向，如：大数据安全，开发运维，云计算运维等等。而掌握的越多前言技术也就是更多的装备，才能更好的在it行业混下去，毕竟it技术更新太快，初级篇和中级篇前面已介绍。初级篇：详解Linux运维工程师入
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
