背景为了解决公司模型&特征迭代的系统性问题，提升算法开发与迭代效率，部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题，在大数据与算法间架起科学桥梁，提供强有力的样本及特征数据支撑。平台从 Hive 、Hbase 、关系型数据库等大数据 ODS ( Operational Data store ) 层进行快速的数据 ETL ，将数据抽取到特征平台进行管
转载
2024-03-22 08:48:02
155阅读
K8S（Kubernetes）是一个开源的容器管理工具，它可以自动化容器的部署、扩展和运维。而HDFS（Hadoop Distributed File System）是一个分布式文件系统，通常用于大数据存储和分析场景。在实际项目中，我们有时候需要将HDFS挂载到K8S集群中来实现数据共享和访问，本文将详细介绍如何在K8S中挂载HDFS。
### 操作流程
下面是在K8S中挂载HDFS的操作流程
原创
2024-03-14 11:31:47
227阅读
在Kubernetes（以下简称K8S）中挂载HDFS存储可以帮助我们在容器化环境中更好地管理数据存储，同时也提供了更灵活的数据处理方式。本文将介绍如何在K8S中挂载HDFS存储，并为刚入行的小白提供详细的步骤和代码示例。
### 整体流程
下面是挂载HDFS存储到K8S的整体步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 创建K8S的PV和PVC |
| 2 |
原创
2024-04-15 15:00:59
528阅读
### 如何将HDFS挂载到K8S
#### 概述
在Kubernetes（K8S）集群中挂载Hadoop分布式文件系统（HDFS）可以实现在K8S中使用HDFS存储数据和共享文件。本文将介绍如何实现将HDFS挂载到K8S，并提供代码示例来帮助您完成这项任务。
#### 流程概览
下表列出了将HDFS挂载到K8S的整个流程：
| 步骤 | 操作 |
|------|-------|
| 1
原创
2024-03-27 09:35:55
262阅读
K8S PV挂载HDFS实现流程如下：
| 步骤 | 描述 |
|---|---|
| 步骤一 | 创建HDFS PV和PVC |
| 步骤二 | 创建Pod并使用PV和PVC |
### 步骤一：创建HDFS PV和PVC
在这一步，我们需要先创建一个HDFS PV（持久卷）和一个HDFS PVC（持久卷声明）。
1. 编辑hdfs-pv.yaml文件，定义HDFS PV：
```ya
原创
2024-04-09 11:21:12
82阅读
## 从Flink写入HDFS并在Kubernetes中部署简要指南
### 介绍
在本文中，我们将学习如何使用Apache Flink将数据写入HDFS并在Kubernetes中部署Flink应用程序。Flink是一个流式处理引擎，可以用于实时数据处理，而HDFS则是Apache Hadoop的分布式文件系统。Kubernetes是一个开源容器编排引擎，用于自动化部署、扩展和管理应用程序容器。
原创
2024-04-09 10:15:48
112阅读
文章目录configmap简介创建ConfigMap的方式使用字面值创建使用文件创建使用目录创建编写configmap的yaml文件如何使用configmap使用configmap设置环境变量普通格式envfrom格式使用conigmap设置命令行参数通过数据卷使用configmapconfigmap热更新使用ConfigMap的限制条件 configmap简介在生产环境中经常会遇到需要修改配置
转载
2024-03-08 14:55:51
108阅读
搭建Heapster+InfluxDB+Grafana集群性能监控平台 在大规模容器集群中，需要对所有node和全部容器进行性能监控。kubernetes建议使用一套工具来实现集群性能数据的采集、存储和展示：heapster、InfluxDB和Grafana。heapster：对集群中各个Node上cAdvisor的数据采集汇聚的系统，通过访问每个node上kubelet的API，再通
转载
2024-04-12 16:09:25
27阅读
一、集群方式：分布式存储方案MinIO的离线k8s容器化部署，超简单!!!_是潮汕的灿灿展吖的-_k8s 部署minio文章目录一、前言二、Minio三、k8s容器化部署一、前言分布式文件存储系统，作为一个码农，多多少少会听说大名鼎鼎 hadoop 的文件系统 HDFS 和 FastDFS。这个两个在文件存储各有优劣，但是对于现在流行的k8s容器化部署来说，这两个部署都过于麻烦，而
转载
2024-04-30 12:26:05
26阅读
目录一、概述二、Flink 运行模式三、Flink on k8s实战操作1）flink下载2）构建基础镜像3）session模式1、Native Kubernetes 模式【1】构建镜像Dockerfile【2】创建命名空间和serviceaccount【3】创建flink集群【4】提交任务【5】查看【6】删除flink集群2、Standalone模式【1】构建镜像【2】创建命名空间和servic
转载
2024-05-28 17:47:27
1222阅读
摘要：本文整理自京东资深技术专家付海涛在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括：基本介绍生产实践优化改进未来规划一、基本介绍K8s 是目前业内非常流行的容器编排和管理平台，它可以非常简单高效地管理云平台中多个主机上的容器化应用。在 2017 年左右，我们实时计算是多个引擎并存的，包括 Storm、Spark Streaming 以及正在引入的新一代计算引
千呼万唤始出来，在 Kubernetes 如火如荼的今天，Flink 社区终于在 1.10 版本提供了对 Kubernetes 的原生支持，也就是 Native Kubernetes Integration[1]。不过还只是 Beta 版本，预计会在 1.11 版本里面提供完整的支持。我们知道，在 Flink 1.9 以及之前的版本里面，如果要在 Kubernetes 上运行 Flink 任务是需
转载
2024-05-04 16:29:53
125阅读
Kubernetes（简称K8S）是一个开源的容器编排引擎，通过K8S，我们可以很方便地管理容器化的应用程序。在K8S中，挂载（Mount）是一个非常重要的操作，它可以实现把存储卷挂载到容器中，实现数据的持久化和共享。在本文中，我将教会你如何在K8S中进行挂载操作。
首先，让我们来看一下整个挂载的流程，我将通过表格展示给你：
| 步骤 | 操作
原创
2024-04-25 11:41:16
100阅读
存储设计理念K8S存储设计理念就是将所有的存储资源统一封装起来，比如用到的NAS，或者物理机本地磁盘，或者是云厂商的对象存储。K8S就是把他们整合起来，抽象出存储卷的（Volume）的逻辑，容器挂载他们就可以直接使用存储空间。跟Docker里的挂载文件相似，Volume独立于Pod与Pod具有相同生命周期的对象。Volume来源1.以Volume形式挂载到容器的对象包括：ConfigMap：明文配
转载
2023-12-13 21:16:04
114阅读
作者 | 至天 阿里巴巴高级研发工程师一、Volumes 介绍Pod Volumes首先来看一下 Pod Volumes 的使用场景：场景一：如果 pod 中的某一个容器在运行时异常退出，被 kubelet 重新拉起之后，如何保证之前容器产生的重要数据没有丢失？场景二：如果同一个 pod 中的多个容器想要共享数据，应该如何去做？以上两个场景，其实都可以借助 Volumes 来很好地解决，接下来首先
转载
2024-05-09 22:12:41
215阅读
2020.1.5更新建议使用cephfs storageClass，而非本文中手动指定pv/pvc的方式，否则容易引发cephfs性能问题，详情参考：kubernetes挂载cephfs带来的mds卡顿问题及引入cephfs storageClass本文仅作对pv/pvc的了解学习。前言在前篇部署测试完cephfs的基础上:Ceph集群生产环境安装部署cephfs调优 & 性能测试 &am
转载
2024-05-31 22:37:33
52阅读
0X00 Master节点部署nfs-server1.Master节点安装nfs-serverapt install nfs-server2.创建共享目录mkdir /nfs_data3.修改nfs-server共享设置echo "/nfs_data *(rw,sync,no_root_squash)" >> /etc/exports参数作用ro只读rw读写root_squash当NF
转载
2023-11-25 13:06:09
406阅读
HDFS on K8S 实现指南
在本文中，我将向您展示如何在Kubernetes（K8S）上实现Hadoop分布式文件系统（HDFS）。HDFS是Hadoop生态系统中的关键组件之一，用于存储和处理大规模数据。通过将HDFS部署在Kubernetes集群中，您可以更轻松地扩展和管理数据存储。
步骤概览：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 创建Kubern
原创
2024-03-05 14:43:10
89阅读
目录部署k8s集群主要有两类架构：一主多从和多主多从，这个不用解释了吧1.搭建方式介绍：2.kubeadm 部署方式介绍3.安装环境准备4.最终目标5.准备环境6.系统初始化6.1 设置系统主机名以及 Host 文件的相互解析6.2 时间同步这里用chronyd，企业中一般用时间同步服务器6.3 关闭firewalld和iptables为了避免和docker中产生的大量iptables规则产生混淆
转载
2024-05-27 10:56:18
114阅读
在Kubernetes集群中使用Hadoop Distributed File System（HDFS）是一个常见的场景，这可以帮助我们更好地管理大规模的数据存储和处理。在本文中，我们将介绍如何在Kubernetes集群上部署HDFS，并配置Kubernetes和HDFS进行互通。让我们来详细了解一下。
### 步骤概述
下面是实现"K8S on HDFS"的主要步骤：
| 步骤 | 描述 |
原创
2024-03-14 11:38:42
86阅读
