文章目录分布式存储hdfs一、Hadoop１、简介２、优点３、核心架构４、发行版本５、部署模式二、集群部署１、环境准备２、本地解析(所有节点)３、安装jdk环境(所有节点)４、免密登录(所有节点)互相做免密，自己和自己也要做免密５、下载hadoop(所有节点)６、添加环境变量(所有节点)７、namenode节点部署(node-1)８、依次拷贝９、初始化注意:10、浏览器访问三、Hadoop使用１
转载
2023-10-09 22:16:09
59阅读
CephFS文件系统 Ceph FileSystem简称CephFS,是一个支持POSIX接口的文件系统存储类型。目前发展比较滞后，主要原因CephFS技术不够成熟，另外受云计算对RBD和RADOSGW需求比CephFS大，社区将发展重点放到RBD和RADOSGW之上。因此目前CephFS还是比较适合实验或测试场景；随着应用需求增多CephFS将逐渐被重视。CephFS架构CephFS
转载
2024-01-10 19:39:51
26阅读
目录 [隐藏]1 CephFS简介2 CephFS客户端2.1 内核客户端2.1.1 命令行挂载2.1.2 通过fstab客户端挂载2.1.3 卸载2.2 FUSE客户端2.2.1 命令行挂载2.2.2 通过fatab文件挂载2.2.3 卸载3 Rank3.1 设置Ra
转载
2023-07-16 21:02:52
158阅读
在Kubernetes (K8S) 中，使用 CephFS 存储类接入 K8S 可以帮助我们更好地管理和存储数据。CephFS 是一个可扩展的、分布式的文件系统，提供了高可用性和高性能。下面我将向你介绍如何在 K8S 中使用 CephFS 存储类，并为你提供相应的代码示例。
### 整体流程
在使用 CephFS 存储类接入 K8S 的过程中，我们需要完成以下步骤：
| 步骤
原创
2024-03-13 12:24:27
109阅读
CephFS权限管理身份认证原理用户通过客户端向 MON 发起请求。客户端将用户名传递到 MON。MON 对用户名进行检查，若用户存在，则通过加密用户密钥生成一个 session key 并返回客户端。客户端通过共享密钥解密 session key，只有拥有相同用户密钥环文件的客户端可以完成解密。客户端得到 session key 后，客户端持有 session key 再次向 MON 发起请求M
转载
2024-02-20 21:31:35
95阅读
Ceph优化总结一. 硬件层面1、 CPU2、 内存3、 网络4、 SSD5、 BIOS二. 软件层面1、 Kernel pid max2、 设置MTU，交换机端需要支持该功能，系统网卡设置才有效果3、 read_ahead, 通过数据预读并且记载到随机访问内存方式提高磁盘读操作4、 swappiness, 主要控制系统对swap的使用5、 I/O Scheduler，SSD要用noop，SATA
转载
2024-05-01 13:24:23
93阅读
# Kafka接入Hadoop：流数据与大数据的结合
随着大数据技术的发展，数据流的处理和存储成为了企业数据架构中不可或缺的一部分。Apache Kafka作为一个分布式流处理平台，能够有效地处理高吞吐量的实时数据流。而Hadoop则是一个强大的大数据存储与处理框架。本文将探讨如何将Kafka接入Hadoop，为数据流处理和存储搭建一个流畅的系统。
## 1. Kafka与Hadoop的概述
原创
2024-09-10 04:02:39
134阅读
# 从零开始学习Hadoop Java接入
在大数据处理领域，Hadoop是一个非常流行的开源框架，用于存储和处理大规模数据集。与此同时，Java作为一种流行的编程语言，也被广泛用于Hadoop开发中。本文将介绍如何使用Java接入Hadoop，以便于处理大规模数据。
## 准备工作
在开始之前，我们需要准备以下工作：
1. 安装Hadoop集群
2. 安装Java开发环境
3. 配置Ha
原创
2024-04-03 04:59:39
32阅读
Hadoop核心组件1.Hadoop通用组件 — Hadoop Common
包含了其他hadoop模块要用到的库文件和工具
2.分布式文件系统 — Hadoop Distributed File System(HDFS)
运行于通用硬件上的分布式文件系统，高吞吐，高可靠
3.资源管理组件 — Hadoop YARN
于2012年引入的组件，用于管理集群中的计算资源并在这些资源上调度用户应用
转载
2024-07-26 11:18:37
28阅读
1、CephFs介绍CephFileSystem(CephFS)是与POSIX标准兼容的文件系统,能够提供对Ceh存储系统的访问。...
原创
2022-08-16 21:54:56
325阅读
Spring Batch是一个轻量级的、完善的批处理框架，作为Spring体系中的一员，它拥有灵活、方便、生产可用的特点。在应对高效处理大量信息、定时处理大量数据等场景十分简便。结合调度框架能更大地发挥Spring Batch的作用一、Spring Batch的概念知识1.1、分层架构Spring Batch的分层架构图如下：可以看到它分为三层，分别是：Application应用层：包含了所有任务
转载
2023-11-30 22:44:42
52阅读
Ceph是一个开源的分布式存储系统，旨在提供高性能、高可靠性和可伸缩性的存储解决方案。Ceph的一个重要组成部分是CephFS，这是一个分布式文件系统，可以在Ceph存储集群上提供文件系统服务。
CephFS是一个基于对象存储的文件系统，可以提供与传统本地文件系统相似的功能，但具有更好的扩展性和容错能力。CephFS将文件以对象的形式存储在Ceph集群中，并通过元数据服务器来管理文件和目录的元数
原创
2024-02-19 13:23:27
71阅读
# OpenStack与CephFS的结合应用
在云计算的新时代，OpenStack作为一款流行的开源云平台，提供了一种灵活、可扩展的基础设施管理方式。而Ceph，作为一个开源的分布式存储系统，其强大的性能和可用性，使得它成为OpenStack环境中理想的存储解决方案之一。本文旨在深入探讨OpenStack如何与CephFS（Ceph文件系统）结合使用，通过示例代码帮助读者理解其应用场景。
#
原创
2024-08-02 07:20:37
48阅读
正文log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=m
# Python 如何接入 Hadoop：解决大数据处理问题
随着大数据技术的快速发展，Hadoop作为一种开源的分布式计算框架，已被广泛应用于数据存储和处理领域。Python是一种简单易用的编程语言，它的灵活性和强大的数据处理能力使其成为与Hadoop进行交互的良好选择。那么，如何将Python与Hadoop相结合，以高效地处理海量数据呢？下面，我们将通过一个具体的案例来探讨这一问题。
##
原创
2024-10-21 05:28:48
120阅读
想让自建Hadoop拥有流畅的云端访问体验？想替老板省点钱？是时候升级你的装备了！百度智能云对象存储服务BOS新推出BOS HDFS工具，支持HDFS数据在BOS中的海量存储，并能在上层数据运算中使用HDFS标准接口来对数据以进行访问和读写，可有效解决自建HDFS数据的高运维成本和低可扩展性问题，让你的Hadoop分布式文件系统发挥最大性能。HDFS面临瓶颈有哪些？ 首先，来了解一下问题的根源
前提要有一套搭建好的ceph集群1.在ceph管理节点执行ceph-deploy mds create node1 node2 node3 #node1 node2 node3一般会选择mgr和mon所在的节点2.在ceph节点中创建poolceph osd create cephfs_data 128 #存储数据的,128是pg数目，具体有计算公式，如果集群少于15个osd的话，可以先设置为12
原创
2018-03-01 11:01:09
667阅读
点赞
之前介绍了 RBD 的使用方法，有了 RBD，远程磁盘挂载的问题就解决了，但 RBD 的问题是不能多个主机共享一个磁盘，如果有一份数据很多客户端都要读写该怎么办呢？这时 CephFS 作为文件系统存储解决方案就派上用
转载
2019-07-04 16:07:00
153阅读
2评论
本文介绍集群的访问。集群的访问方式有两种：hadoop客户端访问，Java API访问。一、集群客户端访问 Hadoop采用C/S架构，可以通过客户端对集群进行操作，其实在前面搭建的集群环境中，每个集群节点都可以作为一个客户端进行集群访问，但是一般场景下，会将集群服务器作为整体，从外部设置客户端对集群进行访问。 为了能从集群服务器外部访问，需要一台与集群服务器在同一网段的主机（可以与集群节点P
转载
2023-07-12 13:31:24
661阅读
通常情况下，我们需要为 Kubernetes 平台找到一种易于使用、可靠的块存储。因此，本文将对几个开源存储解决方案进行基准测试，以了解它们在各种条件下的性能。本次对比也是在不同硬件配置条件下对DRBD进行测试以及与 Ceph (https://ceph.io/en/) 的测试结果比较。然而，软件定义存储市场在不断发展和演变。新的项目不断的涌现，包括最近发布的 Mayastor (https://
转载
2024-01-26 22:20:45
400阅读
