目录环境部署环境描述挂共享磁盘创建所需目录划分磁盘挂存储搭建DSC编辑dmdcr_cfg.ini初始化磁盘组创建dmasvrmal.ini创建dmdcr.ini启动CSS、ASM服务创建DMASM磁盘组创建dminit.ini初始化实例配置归档启动实例服务环境部署环境描述两台相同配置机器,2G 内存,20G 本地磁盘,2 块网卡,另有一块共享磁盘20G。DSC集群机器名初始状态内部通信IP外部通行            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-14 10:34:04
                            
                                63阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、前期准备1)实验环境:VMware Workstation 102)搭建SQL群集必须具有:活动目录、DNS服务器、两台节点服务器、CDP储存服务器。3)IP地址的规划:主机LAN规划主机名IP地址角色网络备注qqdc1.qq.local172.16.1.32域控制器、DNS桥接qqnode1.qq.local172.16.1.33群集节点1桥接qqnode2.qq.local172.16.1            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-31 01:37:43
                            
                                75阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            # 什么是CDP Hive Kerberos认证
CDP(Cloudera Data Platform)是一种大数据解决方案,其中包含Hive,允许用户进行数据分析和查询。Kerberos是一种网络认证协议,用于强制用户在网络上进行身份验证。
CDP Hive Kerberos认证结合了CDP平台的功能和Kerberos协议的安全性,确保只有经过身份验证的用户可以访问Hive数据。
## 如            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-04-04 05:31:54
                            
                                58阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # CDP Spark集群搭建指南
在数据科学和大数据处理领域,Apache Spark 是一种强大的工具,为了利用 Spark 的功能,搭建一个高效的 Spark 集群是非常重要的。在这篇文章中,我们会从零开始搭建一个 CDP(Cloud Data Platform)中 Spark 集群,并为初学者提供详细的步骤和代码示例。
## 1. CDP Spark集群搭建流程
首先,我们可以把整个            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-09-20 14:56:02
                            
                                60阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一. 服务器准备我这里是本地虚拟机搭建,共四台服务器主机,cdp01是管理节点,cdp01,02和03是数据节点.mysql是数据库节点.也可以把mysql节点放在集群内部,由于我这里搭建了c5和c7两个版本的集群,为了不重复搭建mysql就单独搭了一个mysql服务器,后面准备研究以下如何用docker来搭建集群.毕竟笔记本资源有限.服务器配置分别如下:主节点cdp01:
192.168.127            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-11-01 12:24:43
                            
                                257阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Windows Server 2003 
操作系统实现 
Kerberos  
版本 
5 
的身份认证协议。 
Windows Server 2003 
同时也实现了公钥身份认证的扩展。 
Kerberos 
身份验证的客户端实现为一个 
SSP 
( 
security support provider 
),能够通过 
SSPI 
( 
Security Support Provider I            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-06 09:50:41
                            
                                181阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
                应开发要求,部署ETCD集群,作为服务发现使用;考虑再三,决定使用Docker方式来进行安装。好处嘛,谁用谁知道;一般来说,每种工具的官网都会有安装的方式,于是百度官网看到用docker的安装方式;ETCD官网安装方式考虑到网上另外乱七八糟,误人不浅的文章,故打算从新整理一份,供有需要的弟兄参考,如有错漏,也望多多指正部署步骤:1.环境描述   集群            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-11 22:01:02
                            
                                221阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            The Cisco Discovery Protocol (CDP) sure looks simple enough, but there are quite a few details to know for success on the CCNA exam. In your CCNP studies, you'll be introduced to additional uses for C            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                            精选
                                                        
                            2008-04-09 09:48:52
                            
                                1001阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            CDP(Continuous Data Protection),持续数据保护,它的关键在于持续。就给定的数据集而言,CDP提供恢复点的连续体,能够存取所有时间点上的数据,而不仅仅针对那些由快照流程预先确定的特别时刻。CDP提供了粒度无限的恢复点(RPO),有些情况下能提供接近即时的恢复时间(RTO)。说到CDP,不得不提到容灾备份,它们都属于数据保护领域,然而容灾是解决业务的连续性的问题,所实现的            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2016-05-06 09:45:50
                            
                                1236阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # CDP集群安装YARN Queue Manager
在现代数据处理和分析领域,YARN(Yet Another Resource Negotiator)作为Hadoop生态系统中的一个核心组件,负责资源管理和作业调度。CDP(Cloudera Data Platform)中集成了YARN Queue Manager,使得YARN的队列管理更加直观和高效。本文将介绍如何在CDP集群中安装YAR            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-09-14 04:11:04
                            
                                109阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            CDP集群的HADOOP_HOME
=======================================
在大数据领域中,Hadoop是一个广泛使用的分布式计算框架,它具有高可靠性、高扩展性和高容错性。Cloudera Data Platform (CDP)是一种基于Hadoop的大数据平台,提供了一系列的工具和服务,帮助用户更好地管理和分析海量数据。
本文将介绍CDP集群中的HAD            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-01-07 05:05:19
                            
                                85阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一.了解对比Hadoop不同版本的特性,可以用图表的形式呈现。1、DKhadoop发行版:有效的集成了整个HADOOP生态系统的全部组件,并深度优化,重新编译为一个完整的更高性能的大数据通用计算平台,实现了各部件的有机协调。因此DKH相比开源的大数据平台,在计算性能上有了高达5倍(最大)的性能提升。DKhadoop将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点),极大的简化了集群            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-10 20:00:02
                            
                                106阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            # 如何用Java API 操作CDP集群的Phoenix
在大数据领域,Apache Phoenix 是一个强大的工具,它为 HBase 提供了 SQL 访问。在CDP(Cloudera Data Platform)集群中,使用Java API操作Phoenix,可以高效地与数据交互。下面,我将为你详细介绍整个流程及其实现步骤。
## 整体流程
| 步骤 | 描述            
                
         
            
            
            
            阿里cdp介绍阿里的cdp我们理解为是一个ETL工具。Pipeline是资源隔离的单元,Pipeline之间的管道资源以及底层的引擎等资源都是相互隔离的,一个Project的运行任务不会影响其他的Pipeline任务运行  同时提供一套抽象化的数据抽取插件(称之为Reader)、数据写入插件(称之为Writer),cdp技术与原理用户使用CDP Job启动API,向CDP服务端发起调用,提交一个离            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-08 16:45:24
                            
                                95阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            集群主机可以广义地描述为主控主机、工具主机、网关主机和工作主机。 主控主机运行Hadoop主控进程,例如HDFS NameNode和YARN Resource Manager。 实用程序主机运行不是主进程的其他集群进程,...            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2020-11-12 13:00:00
                            
                                292阅读
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
            一  Akka 简介1  akka 的定义Akka是JAVA虚拟机平台上构建高并发、分布式和容错应用的工具包, 是异步、非阻塞、高性能的事件驱动编程模型 / 通信框架。Akka用Scala语言编写,同时提供了Scala和Java的开发接口。Akka处理并发的方法基于Actor模型,Actor之间通信的唯一机制就是消息传递。在Akka中执行单元是Ac            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-22 00:35:09
                            
                                72阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Kafka核心总控制器Controller 在Kafka集群中会有一个或者多个broker,其中有一个broker会被选举为控制器(Kafka Controller),它负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时,由控制器负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化时,由控制器负责通知所有broker更新其元数据信息。当使用kafk            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-07 08:59:31
                            
                                50阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、安装Oracle前准备1.创建运行oracle数据库的系统用户和用户组
[plain] view plain copy
 [humf@localhost ~]$ su root  #切换到root  Password:   [root@localhost sonny]#&nb            
                
         
            
            
            
            1.cdp-思科的发现协议,工作在第二层。只能发现直连邻居,对直连邻居有效。、
可以在全局模式下吧cdp功能关闭掉,也可以在接口模式下把接口的cdp功能关闭掉。关闭之后不能香味传递cdp接口信息也不能接收信息。
2.#show cdp neighbors 命令。
davice id(能看到直连路由器的ID)。local interface(本地接口)hosttime(学习cdp信息。180秒            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                            精选
                                                        
                            2011-11-09 23:35:45
                            
                                579阅读
                            
                                                                             
                 
                
                             
         
            
            
            
             目录 前言(一)Pi Iteration总结(二)KMeansSpark 例子中的本地实现 : KMeans的Spark 版本总结(三)逻辑回归 LR Logistic regressionLocal SparkLRSparkHdfsLRSpark LR 总结HdfsTest   前言这段时间会做一系列 Spark 的Exam            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-26 09:19:56
                            
                                91阅读