flyfish225的博客_大数据技术

datax-web 安装配置

标签（空格分隔）：协作框架一：data-web 的介绍关于datax-web项目在做DataX项目测试的时候又收到github的推荐邮件，推荐了一个datax-web的开源项目，这不是瞌睡遇到枕头，再研究研究这个项目是不是符合数据同步的要求。 datax-web ： https://github.com/WeiYe-Jing/datax-web 主要的功能： https://github.

数据同步

数据源

datax 安装配置

原创精选 8小时前 191 阅读

大数据展示框架SuperSet 安装

标签（空格分隔）：协作框架**1.1 Superset 概述 **Apache Superset 是一个现代的数据探索和可视化平台。它功能强大且十分易用，可对接各种数据源，包括很多现代的大数据分析引擎，拥有丰富的图表展示形式，并且支持自定义仪表盘。**1.2 环境说明 ** 本课程使用的服务器操作系统为 CentOS 7，Superset 对接的数据源为 MySQL 数据库。 **第 2 章

superset

原创精选 1天前 240 阅读 1点赞 yyds干货盘点

datax 抽数据框架

标签（空格分隔）：协作框架一：datax 概述1.1 datax 介绍1.1、什么使datax DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。1.2、datax的设计为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型

json

hdfs

datax

原创精选 1天前 196 阅读 yyds干货盘点

flink on k8s 的实施部署测试

标签（空格分隔）： kubernetes系列一：flink on docker 1.1 flink的介绍 Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序， Flink的流水线运行时系统可以执行批处理和流处理程序。此外， Flink的运行时本身也支持迭代算法的执行

flink

docker

k8s

flink on k8s

原创 9天前 83 阅读 yyds干货盘点

pyspark 集成jupyter与pyspark on yarn

标签（空格分隔）： Spark的部分一：安装jupyter Hadoop 集群 + spark 集群安装忽略 yum install epel-release yum install python36 pip3 install --upgrade pip # 升级pip 到最新版本 pip3 install jupyter # 安装 jupyter jupyter no

spark

pyspark

jupyter

pyspark on yarn

原创精选 1月前 298 阅读

大数据平台datasophon 测试部署

标签（空格分隔）：大数据运维专栏一：datasophon的介绍1.1datasophon的介绍DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。主要有以下特性:极易部署，1小时可完成300节点的大数据集群部署国产化兼容，兼容ARM服务器和常用国产化操作系统监控指标全面丰富，

大数据平台datasophon

datasophon

hadoop

spark

原创推荐 4月前 1876 阅读 1点赞 1收藏 yyds干货盘点

kafka的安装部署（二）

kafka的安装部署（二）标签（空格分隔）：kafka系列一：资源规划二：安装jdk1.8三：安装zookeeper四：安装kafka五：安装kafkaEagle一：资源规划组件node01.vpc.flyfish.cnnode02.vpc.flyfish.cnnode03.vpc.flyfish.cnoscentos7.8centos7.8centos7.8JDKjdk1.8jdk1.8jdk1

kafka

zookeeper

原创 5月前 477 阅读 1点赞 1收藏

kafka 简介与应用场景（一）

kafka简介与应用场景（一）标签（空格分隔）：kafka系列一：kafka简介二：kafka的相关组建三：kafka的架构四：kafka的应用场景一：kafka的简介：1.1kafka的简介Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的

kafka

消息系统

数据

原创推荐 5月前 715 阅读 yyds干货盘点

clickhouse 21.x 集群四分片一副本部署

标签（空测试用例格分隔）：clickhouse系列一：系统环境部署介绍1.1：系统初始化yaml系统：centos7.9x64主机名字:cat/etc/hosts172.16.10.11flyfishsrvs01172.16.10.12flyfishsrvs02172.16.10.13flyfishsrvs03172.16.10.14flyfishsrvs04172.16.10.15flyfish

clickhouse

clickhouse21.x

clickhouse21.x 集群部署

原创精选 11月前 526 阅读 yyds干货盘点

如何编译安装Azkaban服务

如何编译安装Azkaban服务标签（空格分隔）：协作框架一：Azkaban的介绍二：编译环境准备三：测试服务一：Azkaban的介绍Azkaban是一套简单的任务调度服务，是Hadoop工作流引擎调度器之一，整体包括三部分WebServer、DBServer、ExecutorServer。是LinkedIn的开源项目，开发语言为Java。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azk

azkabana 调度系统

原创精选 2022-04-18 00:37:06 564 阅读 1点赞 1收藏

Apache Doris 编译部署（一）

标签（空格分隔）：Doris系列一：Doris的介绍1.1Doris的概述yamlDoris由百度大数据部研发，之前叫百度Palo，于2017年开源，2018年贡献到Apache社区后，更名为Doris。ApacheDoris是一个现代化的基于MPP（大规模并行处理）技术的分析型数据库产品。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得

Apache Doris

原创精选 2022-03-25 16:36:20 3194 阅读 1点赞 2收藏

CDH6.3.2 集成 openldap 配置

CDH6.3.2集成openldap配置标签（空格分隔）：大数据运维专栏toc一：hive集成openldap1.1CDH6.3.2的主机节点安装openldap的客户端openldap服务端已经配置完成，不会看flyfish博文https://blog.51cto.com/flyfish225/4562546在此不做部署：安装openldapclient装包：yumyinstallopenlda

openladp

cdh

hive

impala

hue

原创推荐 2021-11-11 17:44:50 3569 阅读 1点赞 3收藏

greenplum的升级与连接池pgbouncer

# greenplum的升级与连接池pgbouncer 标签（空格分隔）： greenplum系列 --- [toc] ##一：greenplum 的升级 ### 1.1 greenplum的文件最新版本准备 ``` 下载地址： https://network.pivotal.io/products/vmware-tanzu-greenplum 下载： green

greenplum升级

连接池

pgbouncer

原创推荐 2021-07-14 11:23:14 1577 阅读

clickhouse 集群rpm包方式署配置

clickhouse集群rpm包方式署配置标签（空格分隔）：ClickHouse系列[toc]一：clickhouse简介1.1clickhouse数据库简介clickhouse是2016年俄罗斯yandex公司开源出来的一款MPP架构（大规模并行处理）的列式数据库，主要用于大数据分析（OLAP）领域，具有快速查询，线性可扩展，功能丰富，硬件利用效率高，容错，高度可靠等优点。ClickHouse的

clickhouse

集群部署

原创推荐 2021-05-27 13:50:21 2200 阅读 1点赞 1评论

flume的集群部署与测试

flume的集群部署标签（空格分隔）：协作框架[toc]##一：flume介绍：1.1flume的介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume0.9X版本的统称Flume

flume

原创推荐 2021-05-26 16:30:24 2495 阅读

部署完全分布式高可用 Hadoop hdfs HA + yarn HA

部署完全分布式高可用HadoophdfsHA+yarnHA标签（空格分隔）：大数据运维专栏一：hadoopHDFSHA与yarnHA的概述二：部署环境概述三：部署zookeeper四：部署HDFSHA与yarnHA五：关于HA的测试一：hadoopHDFSHA与yarnHA的概述1.1HA的概述HA概述1）所谓HA（HighAvailable），即高可用（7*24小时不中断服务）。2）实现高可用最

hadoop HA

yarn HA

原创推荐 2021-05-13 06:06:27 1518 阅读

hadoop 3.2.1 伪分布与分布式环境构建

hadoop3.2.1伪分布与分布式环境构建标签（空格分隔）：大数据运维专栏一：环境准备二：安装Hadoop3.2.1三：运行一个wordcount测试四：Hadoop分布式构建与测试一：环境准备：1.1系统环境介绍系统：CentOS7.5x64主机名：cat/etc/hosts------192.168.11.192fat01.flyfish.com192.168.11.195fat02.fly

hadoop3.2.1

微分布

分布式部署

原创 2021-05-12 22:56:45 407 阅读

DBus数据总线(一)：DBus all one 部署

DBus数据总线(一)：DBusallone部署标签（空格分隔）：DBus系列数据[toc]一：DBus概述1.1:产生背景采集工具的局限性当前有很多数据采集工具，他们或多或少都存在一些局限性：上面这些采集工具还以一个共性问题是缺乏统一的数据源端管控，所以也就无法找到统一的数据入口，那后续处理元数据或者血缘分析会异常困难。数据同步方法局限性同时过去通常的同步数据的方法有很多种，比如：各个数据使用方

DBUS

HADOOP

数据采集

原创精选 2021-01-12 17:31:00 5007 阅读

prometheus + grafana 对flink 进行监控

prometheus+grafana对flink进行监控标签（空格分隔）：flink系列一：flink监控简介二：Flink的Metric架构三：prometheus+grafana的对flink的监控部署构建一：flink监控简介1.1前言Flink提供的Metrics可以在Flink内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢

flink

prometheus

grafana

原创推荐 2020-12-18 09:37:32 9532 阅读 3评论

flink local集群部署

flinklocal集群部署标签（空格分隔）：flink系列一：flink介绍二：flink运行模式三：flinklocal集群部署一：flink介绍1.1:flink介绍ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理

flink

flink standalone

原创 2020-12-17 09:33:59 1277 阅读

CDH6.3.2 集成 Freeipa 的kerberos

CDH6.3.2集成Freeipa的kerberos标签（空格分隔）：大数据运维专栏一：系统环境二：CDH6.3.2集成freeipa的Kerberos一：系统环境1.2系统配置要求大数据的所有主机注入到FreeIPA当中cdh最低版本为CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

FreeIPA

kerberos

cdh6.3.2

原创推荐 2020-12-16 09:29:59 5827 阅读 2收藏

大数据安全认证FreeIPA部署

大数据安全认证FreeIPA部署标签（空格分隔）：大数据运维专栏一：FreeIPA介绍二：FreeIPA服务端部署三：FreeIPA客户端部署一：FreeIPA概述###1.1:FreeIPA的介绍FreeIPA是一款集成的安全信息管理解决方案。FreeIPA包含Linux(Fedora),389DirectoryServerMITKerberos,NTP,DNS,Dogtag(Certifica

cdh

freeipa

原创 2020-12-14 13:12:22 7165 阅读

CDH6.3.2 配置Flink1.10.1 编译与CDH 集成

CDH6配置Flink1.10.1编译与CDH集成标签（空格分隔）：大数据运维专栏一：编译环境包的准备二：编译生成包配置三：使用编译好的flink做CDH的parcels与csd文件四：CDH6.3.2集成flink1.10.1一：编译环境包的准备一、环境CDH6.3.2(Hadoop3.0.0)、Flink1.10.1、Centos7.7、Maven3.6.3、Scala-2.12和JDK1.8

cdh6.3.2

flink

编译

原创精选 2020-12-11 12:31:51 5912 阅读 1点赞 1评论

Ambari2.7.4+HDP3.1.4安装 Centos7离线安装

Ambari2.7.4+HDP3.1.4安装Centos7离线安装标签（空格分隔）：大数据平台构建一：关于HDP的介绍二：系统环境介绍三：系统环境初始化四：安装HDP3.1.4平台一：关于HDP的介绍1.1ambari的介绍Ambari是一种基于Web的工具，支持ApacheHadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、P

ambari

hdp3.1.4

原创精选 2020-12-10 12:51:29 6363 阅读

如何自定义编译zeppelin与livy 的parcels 与CDH6.3.2 集成

如何自定义编译zeppelin的parcels与CDH集成标签（空格分隔）：大数据运维专栏一：关于zeppelin介绍二：如何自定义CDH的parcels与csd的jar包三：zeppelin与CDH的集成四：关于zeppelin的测试一：关于zepplin的介绍ApacheZeppelin是一个让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能。Zep

zepplin

livy

cdh6.3.2

原创精选 2020-12-09 18:24:12 4123 阅读 1点赞 2评论

CDH 6.3.2 集成 kylin 的部署与使用

CDH6.3.2集成kylin的部署与使用标签（空格分隔）：大数据运维专栏一：关于kylin的介绍二：安装环境介绍与软件包的准备三：配置kylin与CDH6.3.2集成四：kylin的测试五：kylin自建表导入数据测试一：关于kylin的介绍1.1ApacheKylin™概览ApacheKylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark之上的SQL查询接口及多维分析（

cdh6.3.2

kylin

原创精选 2020-12-08 12:25:32 5069 阅读 1收藏 4评论

CDH6.3.2 集成flink的部署配置

CDH6.3.2集成flink的部署配置标签（空格分隔）：大数据平台构建一：flink的简介二：cdh6.3.2集成flink一：flink的简介ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运

flink

cdh6.3.2

原创 2020-06-21 07:13:36 10000+阅读 3评论

CDH6.3.2 启用Kerberos 集成使用phoenix

CDH6.3.2启用Kerberos集成使用phoenix标签（空格分隔）：大数据平台构建一、下载并安装Phoenixparcel二、安装CSD文件三、在ClouderaManager中添加Phoenix服务（前提是已经安装了HBase服务）四、配置HBase以用于Phoenix五、验证Phoenix安装与冒烟测试六、导入数据验证测试七、七：关于phoinex的schema与hbase的names

CDH6.3.2

hbase

Phoenix

原创精选 2020-06-04 22:21:23 4266 阅读 1收藏

CDH 6.3.2 开启kerberos 遇到的坑

CDH6.3.2开启kerberos遇到的坑标签（空格分隔）：大数据平台构建一：关于安装系统的一些坑二：关于开启KerberosJava的一些坑三：关于hive一：关于安装系统的一些坑1）安装之前一定确认jdk的安装目录因为通过centos7这个系统默认会在装之前会自带一些jdk版本要彻底卸载这个jdk，最好是保证安装系统之前自装最简的centos7.5x64mini2)系统最好分区为三个/swa

kerberos

Hadoop

cdh

java

原创 2020-06-02 11:03:23 2936 阅读

CDH6.3.2 开启Kerberos 认证

CDH6.3.2开启Kerberos认证标签（空格分隔）：大数据平台构建一：如何安装及配置KDC服务二：如何通过CDH启用Kerberos三：如何登录Kerberos并访问Hadoop相关服务一：如何安装及配置KDC服务1.1系统环境1.操作系统：CentOS7.5x642.CDH6.3.23.采用root用户进行操作1.2KDC服务安装及配置1.在ClouderaManager服务器上安装KDC

CDH 6.3.2

kerberos

认证

原创 2020-05-29 22:08:38 3045 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

flyfish