flyfish225的博客_大数据技术

Ubuntu18.04.6 server 安装 HDP3.1.0

标签（空格分隔）：大数据运维专栏 1.1 系统介绍系统： Ubuntu18.04.6 server 主机名： cat /etc/hosts 172.16.10.61 flyfish61 172.16.10.62 flyfish62 172.16.10.63 flyfish63 172.16.10.64 flyfish64 172.16.10.65 f

ambari

ubuntu

hdp3.10 安装

原创精选 7月前 866 阅读 1评论 yyds干货盘点

k8s 1.26.5 部署spark 集群测试

标签（空格分隔）： kubernetes系列一：系统环境介绍系统： centos7.9x64 k8s 集群版本： k8s1.26.5 采用kubesphere 做页面 caclico 版本： calico v3.26.1 containerd版本： containerd://1.6.24 hadoop 版本： hadoop 3.3.6 he

k8s

spark

hadoop

原创 10月前 377 阅读 1点赞 2收藏 yyds干货盘点

k8s1.26.5 安装 flink1.17.1

标签（空格分隔）： kubernetes系列一：系统环境介绍系统： centos7.9x64 k8s 集群版本： k8s1.26.5 采用kubesphere 做页面 caclico 版本： calico v3.26.1 containerd版本： containerd://1.6.24 hadoop 版本： hadoop 3.3.6 he

flink

k8s1.26.5

原创 10月前 596 阅读 yyds干货盘点

k8s1.26.5 安装Hadoop 和 hive 测试

标签（空格分隔）： kubernetes系列一：系统环境介绍系统： centos7.9x64 k8s 集群版本： k8s1.26.5 采用kubesphere 做页面 caclico 版本： calico v3.26.1 containerd版本： containerd://1.6.24 hadoop 版本： hadoop 3.3.6 he

hadoop

hive

k8s 1.26.5

原创 10月前 458 阅读 1点赞 1收藏 yyds干货盘点

k8s 1.28.2 安装 Hadoop3.3.6

标签（空格分隔）： kubernetes系列一：系统环境介绍系统： centos7.9x64 k8s 集群最新版本： k8s1.28.2 采用kubeadm部署 caclico 版本： calico v3.26.2 containerd版本： containerd://1.6.24 hadoop 版本： hadoop 3.3.6 helm

k8s1.28.2

hadoop3.3.6

原创 10月前 1135 阅读 1点赞 1收藏 yyds干货盘点

docker 部署 flink on yarn

标签（空格分隔）：容器实操之docker 一：部署介绍 1.1 系统环境系统: CentOS7.9x64 主机名： cat /etc/hosts ----- 172.16.10.26 flyfish26 ---- 因为docker 单机版本所以就只使用 flyfish26 机器部署所需部署软件 flink-1.13.6-bin-scala_2.12.t

docker

hadoop

flink

原创 2023-06-24 09:22:08 1557 阅读 1点赞 1收藏 2评论 yyds干货盘点

datax-web 安装配置

标签（空格分隔）：协作框架一：data-web 的介绍关于datax-web项目在做DataX项目测试的时候又收到github的推荐邮件，推荐了一个datax-web的开源项目，这不是瞌睡遇到枕头，再研究研究这个项目是不是符合数据同步的要求。 datax-web ： https://github.com/WeiYe-Jing/datax-web 主要的功能： https://github.

数据同步

数据源

datax 安装配置

原创精选 2023-06-02 12:36:40 897 阅读 1收藏

大数据展示框架SuperSet 安装

标签（空格分隔）：协作框架**1.1 Superset 概述 **Apache Superset 是一个现代的数据探索和可视化平台。它功能强大且十分易用，可对接各种数据源，包括很多现代的大数据分析引擎，拥有丰富的图表展示形式，并且支持自定义仪表盘。**1.2 环境说明 ** 本课程使用的服务器操作系统为 CentOS 7，Superset 对接的数据源为 MySQL 数据库。 **第 2 章

superset

原创精选 2023-05-31 21:23:39 1370 阅读 1点赞 yyds干货盘点

datax 抽数据框架

标签（空格分隔）：协作框架一：datax 概述1.1 datax 介绍1.1、什么使datax DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。1.2、datax的设计为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型

json

hdfs

datax

原创精选 2023-05-31 21:17:00 629 阅读 yyds干货盘点

flink on k8s 的实施部署测试

标签（空格分隔）： kubernetes系列一：flink on docker 1.1 flink的介绍 Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序， Flink的流水线运行时系统可以执行批处理和流处理程序。此外， Flink的运行时本身也支持迭代算法的执行

flink

docker

k8s

flink on k8s

原创 2023-05-24 10:49:20 732 阅读 yyds干货盘点

pyspark 集成jupyter与pyspark on yarn

标签（空格分隔）： Spark的部分一：安装jupyter Hadoop 集群 + spark 集群安装忽略 yum install epel-release yum install python36 pip3 install --upgrade pip # 升级pip 到最新版本 pip3 install jupyter # 安装 jupyter jupyter no

spark

pyspark

jupyter

pyspark on yarn

原创精选 2023-04-06 16:56:55 1092 阅读 1点赞

大数据平台datasophon 测试部署

标签（空格分隔）：大数据运维专栏一：datasophon的介绍1.1datasophon的介绍DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。主要有以下特性:极易部署，1小时可完成300节点的大数据集群部署国产化兼容，兼容ARM服务器和常用国产化操作系统监控指标全面丰富，

大数据平台datasophon

datasophon

hadoop

spark

原创推荐 2023-01-11 15:36:41 4680 阅读 1点赞 1收藏 yyds干货盘点

kafka的安装部署（二）

kafka的安装部署（二）标签（空格分隔）：kafka系列一：资源规划二：安装jdk1.8三：安装zookeeper四：安装kafka五：安装kafkaEagle一：资源规划组件node01.vpc.flyfish.cnnode02.vpc.flyfish.cnnode03.vpc.flyfish.cnoscentos7.8centos7.8centos7.8JDKjdk1.8jdk1.8jdk1

kafka

zookeeper

原创 2022-12-07 16:29:30 722 阅读 1点赞 1收藏

kafka 简介与应用场景（一）

kafka简介与应用场景（一）标签（空格分隔）：kafka系列一：kafka简介二：kafka的相关组建三：kafka的架构四：kafka的应用场景一：kafka的简介：1.1kafka的简介Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的

kafka

消息系统

数据

原创推荐 2022-12-07 16:28:26 877 阅读 yyds干货盘点

clickhouse 21.x 集群四分片一副本部署

标签（空测试用例格分隔）：clickhouse系列一：系统环境部署介绍1.1：系统初始化yaml系统：centos7.9x64主机名字:cat/etc/hosts172.16.10.11flyfishsrvs01172.16.10.12flyfishsrvs02172.16.10.13flyfishsrvs03172.16.10.14flyfishsrvs04172.16.10.15flyfish

clickhouse

clickhouse21.x

clickhouse21.x 集群部署

原创精选 2022-06-22 11:15:17 670 阅读 yyds干货盘点

如何编译安装Azkaban服务

如何编译安装Azkaban服务标签（空格分隔）：协作框架一：Azkaban的介绍二：编译环境准备三：测试服务一：Azkaban的介绍Azkaban是一套简单的任务调度服务，是Hadoop工作流引擎调度器之一，整体包括三部分WebServer、DBServer、ExecutorServer。是LinkedIn的开源项目，开发语言为Java。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azk

azkabana 调度系统

原创精选 2022-04-18 00:37:06 692 阅读 1点赞 1收藏

Apache Doris 编译部署（一）

标签（空格分隔）：Doris系列一：Doris的介绍1.1Doris的概述yamlDoris由百度大数据部研发，之前叫百度Palo，于2017年开源，2018年贡献到Apache社区后，更名为Doris。ApacheDoris是一个现代化的基于MPP（大规模并行处理）技术的分析型数据库产品。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得

Apache Doris

原创精选 2022-03-25 16:36:20 3555 阅读 1点赞 3收藏

CDH6.3.2 集成 openldap 配置

CDH6.3.2集成openldap配置标签（空格分隔）：大数据运维专栏toc一：hive集成openldap1.1CDH6.3.2的主机节点安装openldap的客户端openldap服务端已经配置完成，不会看flyfish博文https://blog.51cto.com/flyfish225/4562546在此不做部署：安装openldapclient装包：yumyinstallopenlda

openladp

cdh

hive

impala

hue

原创推荐 2021-11-11 17:44:50 4046 阅读 1点赞 3收藏

greenplum的升级与连接池pgbouncer

# greenplum的升级与连接池pgbouncer 标签（空格分隔）： greenplum系列 --- [toc] ##一：greenplum 的升级 ### 1.1 greenplum的文件最新版本准备 ``` 下载地址： https://network.pivotal.io/products/vmware-tanzu-greenplum 下载： green

greenplum升级

连接池

pgbouncer

原创推荐 2021-07-14 11:23:14 1882 阅读

clickhouse 集群rpm包方式署配置

clickhouse集群rpm包方式署配置标签（空格分隔）：ClickHouse系列[toc]一：clickhouse简介1.1clickhouse数据库简介clickhouse是2016年俄罗斯yandex公司开源出来的一款MPP架构（大规模并行处理）的列式数据库，主要用于大数据分析（OLAP）领域，具有快速查询，线性可扩展，功能丰富，硬件利用效率高，容错，高度可靠等优点。ClickHouse的

clickhouse

集群部署

原创推荐 2021-05-27 13:50:21 2401 阅读 1点赞 1评论

flume的集群部署与测试

flume的集群部署标签（空格分隔）：协作框架[toc]##一：flume介绍：1.1flume的介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume0.9X版本的统称Flume

flume

原创推荐 2021-05-26 16:30:24 2869 阅读

部署完全分布式高可用 Hadoop hdfs HA + yarn HA

部署完全分布式高可用HadoophdfsHA+yarnHA标签（空格分隔）：大数据运维专栏一：hadoopHDFSHA与yarnHA的概述二：部署环境概述三：部署zookeeper四：部署HDFSHA与yarnHA五：关于HA的测试一：hadoopHDFSHA与yarnHA的概述1.1HA的概述HA概述1）所谓HA（HighAvailable），即高可用（7*24小时不中断服务）。2）实现高可用最

hadoop HA

yarn HA

原创推荐 2021-05-13 06:06:27 1776 阅读

hadoop 3.2.1 伪分布与分布式环境构建

hadoop3.2.1伪分布与分布式环境构建标签（空格分隔）：大数据运维专栏一：环境准备二：安装Hadoop3.2.1三：运行一个wordcount测试四：Hadoop分布式构建与测试一：环境准备：1.1系统环境介绍系统：CentOS7.5x64主机名：cat/etc/hosts------192.168.11.192fat01.flyfish.com192.168.11.195fat02.fly

hadoop3.2.1

微分布

分布式部署

原创 2021-05-12 22:56:45 510 阅读

DBus数据总线(一)：DBus all one 部署

DBus数据总线(一)：DBusallone部署标签（空格分隔）：DBus系列数据[toc]一：DBus概述1.1:产生背景采集工具的局限性当前有很多数据采集工具，他们或多或少都存在一些局限性：上面这些采集工具还以一个共性问题是缺乏统一的数据源端管控，所以也就无法找到统一的数据入口，那后续处理元数据或者血缘分析会异常困难。数据同步方法局限性同时过去通常的同步数据的方法有很多种，比如：各个数据使用方

DBUS

HADOOP

数据采集

原创精选 2021-01-12 17:31:00 5534 阅读

prometheus + grafana 对flink 进行监控

prometheus+grafana对flink进行监控标签（空格分隔）：flink系列一：flink监控简介二：Flink的Metric架构三：prometheus+grafana的对flink的监控部署构建一：flink监控简介1.1前言Flink提供的Metrics可以在Flink内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢

flink

prometheus

grafana

原创推荐 2020-12-18 09:37:32 10000+阅读 3评论

flink local集群部署

flinklocal集群部署标签（空格分隔）：flink系列一：flink介绍二：flink运行模式三：flinklocal集群部署一：flink介绍1.1:flink介绍ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理

flink

flink standalone

原创 2020-12-17 09:33:59 1405 阅读

CDH6.3.2 集成 Freeipa 的kerberos

CDH6.3.2集成Freeipa的kerberos标签（空格分隔）：大数据运维专栏一：系统环境二：CDH6.3.2集成freeipa的Kerberos一：系统环境1.2系统配置要求大数据的所有主机注入到FreeIPA当中cdh最低版本为CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

FreeIPA

kerberos

cdh6.3.2

原创推荐 2020-12-16 09:29:59 6142 阅读 1点赞 2收藏

大数据安全认证FreeIPA部署

大数据安全认证FreeIPA部署标签（空格分隔）：大数据运维专栏一：FreeIPA介绍二：FreeIPA服务端部署三：FreeIPA客户端部署一：FreeIPA概述###1.1:FreeIPA的介绍FreeIPA是一款集成的安全信息管理解决方案。FreeIPA包含Linux(Fedora),389DirectoryServerMITKerberos,NTP,DNS,Dogtag(Certifica

cdh

freeipa

原创 2020-12-14 13:12:22 8542 阅读 1收藏

CDH6.3.2 配置Flink1.10.1 编译与CDH 集成

CDH6配置Flink1.10.1编译与CDH集成标签（空格分隔）：大数据运维专栏一：编译环境包的准备二：编译生成包配置三：使用编译好的flink做CDH的parcels与csd文件四：CDH6.3.2集成flink1.10.1一：编译环境包的准备一、环境CDH6.3.2(Hadoop3.0.0)、Flink1.10.1、Centos7.7、Maven3.6.3、Scala-2.12和JDK1.8

cdh6.3.2

flink

编译

原创精选 2020-12-11 12:31:51 6333 阅读 1点赞 1评论

Ambari2.7.4+HDP3.1.4安装 Centos7离线安装

Ambari2.7.4+HDP3.1.4安装Centos7离线安装标签（空格分隔）：大数据平台构建一：关于HDP的介绍二：系统环境介绍三：系统环境初始化四：安装HDP3.1.4平台一：关于HDP的介绍1.1ambari的介绍Ambari是一种基于Web的工具，支持ApacheHadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、P

ambari

hdp3.1.4

原创精选 2020-12-10 12:51:29 6919 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

flyfish