这几天在写一个spark的程序做数据的迁移工作，但是我看了一下cm管理的spark的版本是1.6.0的spark（我们集群安装的cm的版本是5.14.0的版本）于是就要将spark2集成到我们的大数据管理平台当中去。步骤如下：通过这张图我们可以看到，在cm的管理平台上，有两种集成模式的spark。其中一个是spark on yarn模式的spark，一种是spark 在standlon
转载
2024-02-01 15:01:31
27阅读
Kerberos协议简介：Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。协议内容：client：需要进行认证的客户端KDC（Key Distribution Center）= 密钥分发中心AS（Authentication Server）= 认证服务器TGS（Ticket Granting S
转载
2023-12-24 10:25:26
97阅读
.HBase是一个在HDFS上开发的面向列的分布式数据库，用于实时地随机访问超大规模数据集。原本的关系型数据库并非为大规模可伸缩的分布式处理而设计，虽然也有复制(replication)和分区(partitioning)的改善方案，让数据库能够从单个节点扩展出去，但难以安装与维护，而且会牺牲
容器： 实际上是一个由Linux Namespace，Linux Cgroups 和rootfs三种技术构建出来的进程的隔离环境。 一个正在运行的linux容器： 1.一组联合挂载在/var/lib/docker/aufs/mnt上的rootfs,这一部分我们成为“容器镜像” 2.一个由namespace+cgroups构成的隔离环境，这个部分我们称为容器运行时。kubernetes项目架构： 1
# 深入了解 KBS Docker
在当今互联网时代，Docker 技术已经成为云计算和容器化领域的热门话题。而 KBS Docker 作为其中的一个分支，更是备受关注。本文将介绍 KBS Docker 的基本概念、使用方法以及示例代码，帮助读者更好地理解和应用这一技术。
## 什么是 KBS Docker？
KBS Docker 是 Kubernetes（K8s）和 Docker 的结合，
原创
2024-05-07 04:30:56
54阅读
# Docker KBS：从入门到实践
作为一名经验丰富的开发者，我很高兴能帮助刚入行的小白了解如何实现“docker kbs”。在这篇文章中，我将详细介绍整个流程，并提供必要的代码示例和注释。
## 流程概述
首先，让我们通过一个表格来概述实现“docker kbs”的步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 安装Docker |
| 2 | 拉取KBS
原创
2024-07-17 10:14:26
43阅读
本周精读的文章是 Comparing the New Generation of Build Tools。前端工程领域近期出了不少新工具，这些新工具都运用了一些新技术或者跨领域技术，实现了一些突破，因此有必要了解一下这些工具都有什么特性，以及是否可以投入生产环境。由于原文比较啰嗦，所以具体用法和支持细节不在这里展开，如果想进一步了解细节，可以直接阅读 原文。精读按照从底层到上层的封装粒度，以 es
转自：http://www.linkwan.com/gb/broadmeter/speedauto/about/aboutspeed.htm
上网速度的概念
通常地，我们认为上网速度就是打开网页或是在网上下载文件的速度。让人等待的时间长的，当然是速度比较慢啦。
但是，如果要准确地描述上网的速度，则要使用数据来说明了。
我们经常会听到很多人这样描述上网
转载
精选
2012-10-05 23:35:25
10000+阅读
# 教你如何实现 KBS 和 Docker
在软件开发领域，KBS（知识库系统）和 Docker 都是非常重要的技术。KBS 用于管理和存储知识，而 Docker 是一种帮助开发者在容器中打包、分发和管理应用程序的工具。本文将指导你如何将 KBS 与 Docker 结合使用，下面是整个流程的概述。
## 流程概述
| 步骤 | 描述 |
|------|------|
| 1 | 安装
原创
2024-08-29 06:07:17
64阅读
# 安装证书生成工具wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd wget https://pkg
原创
2022-02-18 14:33:21
199阅读
# 安装证书生成工具wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 chmod +x cfssl*...
原创
2021-08-25 10:30:39
399阅读
一、Spark核心概念（1）Spark运行架构（2）重要概念Client 客户端进程，负责提交作业Application 提交一个作业就是一个Application，一个Application只有一个SparkContextMaster （图中的Cluster Manager），就像Hadoop中有NameNode和DataNode一样，Spark有Master和Worker。Master是集群的
转载
2023-12-11 10:03:01
45阅读
Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark特点Spark具有如下几个主要特点：运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比Hadoop MapReduce快上百
转载
2023-08-30 16:30:37
96阅读
1、IO虚拟化的分类（1）全虚拟化：宿主机截获客户机对I/O设备的访问请求，然后通过软件模拟真实的硬件。这种方式对客户机而言非常透明，无需考虑底层硬件的情况，不需要修改操作系统。 QEMU模拟I/O的情况下，当客户机中的设备驱动程序（device driver）发起I/O操作请求之时，KVM模块中的I/O操作捕获代码会拦截这次I/O请求，然后经过处理后将本次I/O请求的信息存放到I/O共
转载
2023-11-26 19:12:29
129阅读
# kbs和docker之间的关系
kbs（知识库系统）和docker（容器化技术）是现代软件开发和运维中两个重要的概念。它们之间的关系密切，相互补充，共同为软件开发和运维提供了便利。本文将通过代码示例和关系图，详细解释kbs和docker之间的关系。
## 什么是kbs？
kbs是一种用于存储、管理和检索知识信息的系统。它通常包含一个或多个知识库，这些知识库可以是结构化的（如关系数据库）或
原创
2024-07-20 04:32:13
61阅读
算法分类：转换(transformation)和执行(action)查看算子使用democoalesce & repartition & partitionByreparation是coalesce的特殊情况 ,reparation会将coalesce中的shuffle参数设置为true,会使用HashPartitioner重新混洗分区,如果原有分区数据不均匀可以用reparat
转载
2024-01-31 03:12:26
56阅读
Kerberos是诞生于上个世纪90年代的计算机认证协议，被广泛应用于各大操作系统和Hadoop生态系统中。了解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的问题。为此，本文根据最近阅读的一些材料，详细介绍Kerberos认证流程。欢迎斧正！Kerberos解决什么问题？
简单地说，Kerberos提供了一种单点登录(SSO)的方法。考虑这样一个场景，在一个网络中有不
转载
2023-06-21 21:37:14
590阅读
背景hadoop delegation token的问题相对比较混乱和复杂，简单说下这东西的出现背景，最早的hadoop的因没有的完善的安全机制（安全机制主要包括：认证 + 鉴权，hadoop这里主要是身份认证机制没有），所以导致操作风险比较大，你可以理解只要获取了一台装有hadoop client的机器，就可以任意操作HDFS系统了，深究原因是因为hadoop身份认证机制太薄弱，所以只要黑了一台
转载
2023-12-11 14:49:42
39阅读
一 Receiver方式Receiver是使用Kafka的high level的consumer API来实现的。Receiver从Kafka中获取数据都是存储在Spark Executor内存中的，然后Spark Streaming启动的job会去处理那些数据 然而这种方式很可能会丢失数据，如果要启用高可靠机制，让数据零丢失，就必须启动Spark Streaming预写日志机制。该机制
转载
2023-12-16 14:23:34
45阅读
# Spark 认证 Kerberos：一站式指南
Apache Spark 是一个广泛使用的大数据处理框架，它支持多种数据处理任务，如批处理、流处理、机器学习等。在处理敏感数据时，安全性变得至关重要。Kerberos 是一种网络认证协议，提供了一种安全的方式来验证用户和服务的身份。本文将介绍如何在 Spark 中集成 Kerberos 认证，确保数据处理的安全性。
## 环境准备
在开始之
原创
2024-07-26 10:01:41
208阅读
