我们知道 Flink 有Table（表）、View（视图）、Function（函数/算子）、Database（数据库）的概念，相对于这些耳熟能详的概念，Flink 里还有一个 Catalog（目录） 的概念。本文将为大家带来 Flink Catalog 的介绍以及 Flink Catalog 在 ChunJun 中的实践之路。Flink Catalog 简介Catalog 提供元数据，如数据库、表
MapReduce报错：「MKDirs failed to create file」0. 写在前面1. 程序代码及报错信息输入、输出路径程序代码报错信息2. 查找资料3. 原因分析4. 参考0. 写在前面Linux：Ubuntu Kylin16.04Hadoop：Hadoop2.7.21. 程序代码及报错信息输入、输出路径zhangsan@had
使用Maven构建Hadoop工程并实现词频统计案例(详细篇)一、实验环境：Hadoop3.1.3IDEACentOS7.5Maven3.6.3伪分布式二、使用Maven构建Hadoop工程1.解压Maven到自己的安装目录tar -zxvf ./apache-maven-3.6.3-bin.tar.gz -C /opt/module/2.配置Maven环境变量vim /etc/profile.d
从代码可以看出spring-boot-starter-mail与javax.mail的实现类似，都是通过类实现，但一定不要盲目的复制粘贴，理解，自己一行一行的复写一遍代码，这是千万不能省的！
Hadoop 3.3.4 高可用集群安装
标签（空格分隔）：大数据运维专栏一：datasophon的介绍1.1datasophon的介绍DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。主要有以下特性:极易部署，1小时可完成300节点的大数据集群部署国产化兼容，兼容ARM服务器和常用国产化操作系统监控指标全面丰富，
Hadoop 三大组件：HDFS，MapReduce，Yarn 的架构分析和原理1引子 大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数据，也包括从第三方采购的数据，还包括使用网络爬虫获取的各种
我的gitee地址：https://gitee.com/ddxygq/bigdatatechnicalpai最近看到有人在用flinksql的页面管理平台，大致看了下，尝试安装使用，比原生的flinksql界面确实好用多了，我们看下原生的，通过bin/sqlclient.sh命令进入那个黑框，一只松鼠，对，就是那个界面。。。。这个工具不是Flink官方出的，是一个国内的小伙伴写的，Github地址
作为一位优秀的技术人员，往往能通过对数据的最大化利用来产生更多价值。而 Prometheus 的监控数据则是可以为我们所用的重要数据，它并不只能用于日常的监控和告警使用，也可以用于数据分析、成本管理等企业需求。在这种场景下，需要我们从 Prometheus 去获取相关的数据，并对其进行处理加工。关于数据的获取方法，通常会使用 Prometheus 提供的 API 来操作，本文将会对此进行讲解介绍。
本文是《CDH5部署三部曲》的第二篇，前文将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作
导读BitSail 是字节跳动开源数据集成引擎，支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下全域数据集成解决方案，目前支撑了字节内部和火山引擎多个客户的数据集成需求。经过字节跳动各大业务线海量数据的考验，在性能、稳定性上得到较好验证。10 月 26 日，字节跳动宣布 BitSail 项目正式在 GitHub 开源，为更多的企业和开发者带来便利，降低数据建设的成本，让数据高效地
原因：因为公司的平台的数据量在30P左右，使用了Hadoop3.1.2的版本，而且使用的纠删码功能，报错信息如下：java.io.IOException: Unexpected EOS from the readerat org.apache.hadoop.hdfs.StripeReader.readToBuffer(StripeReader.java:241)at org.apache.hado
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群Doris简介Doris是一种MPP架构的分析型数据库，主要面向多维分析，数据报表，用户画像分析等场景。自带分析引擎和存储引擎，支持向量化执行引擎，不依赖其他组件，兼容MySQL协议。Apache Doris具备以下几个特点：良好的架构设计，支持高并发低延时的查询服务，支持高吞吐量的交互式分析。多FE均可对外提供服
解压presto-server包tar -zxvf presto-server-0.276.tar.gz件目录结构如下drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bindrwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib-rw-r--r-- 1 rong rong 191539 Mar 5...
本期我们带大家回顾一下漫路同学的直播分享《ChengYing 安装原理剖析》。本期内容多为实战演示，欢迎有兴趣的同学去 B 站配合视频观看，便于理解。一、ChengYing 安装原理ChengYing 安装主要分为下面八个模块的内容，下面为大家介绍一下每个模块主要能做的事情：1、主机编排一个组件包里面有很多服务，指定服务安装到哪些主机。2、冲突校验根据组件包之间的依赖关系，校验编排结果是否符合部署
上一篇文章详细给大家介绍了标签的设计与加工，在标签生命周期流程中，标签体系设计完成后，便进入标签加工与上线运行阶段，一般来说数据开发团队会主导此过程，但我们需要关心以下几个问题：・标签如何快速创建和实现标签逻辑的在线化管理・业务人员怎么参与到标签建设流程中・百万级别的标签如何落表一、加工方式：传统 VS 在线当企业无标签系统时，一般由数据开发在离线数仓中完成标签的加工和运行，运营或市场同学需要某个
一、Hadoop是什么？Hadoop是一个Apache基金会所开发的分布式系统基础架构。在工业界，Hadoop已经是公认的大数据通用存储和分析平台，它实现了分布式文件系统HDFS（ Hadoop Distributed File System）、分布式运行程序编程框架MapReduce以及资源管理系统YARN（ Yet Another Resource Negotiator），其中HDF
Spark Streaming是构建在Spark Core的RDD基础之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized Stream，离散化数据流)，表示连续不断的数据流。DStream抽象是Spark Streaming的流处理模型，在内部实现上，Spark Streaming会对输入数据按照时间间隔（如1秒）分段，每一段数据转换为Spar
写在前面到这里我们就知道知道STL的具体的框架了，里面的一些函数你会发现用法都一样。这个博客主要谈一下迭代器的分封装，前面我们蹙额的string和vector的迭代器都是原生指针，但是今天的却不一样。在这里你会发现既然我们的string和vector都可以支持下标访问，为何还要存在迭代器？今天的list你就会发现它不支持下标，我们的STL为了统一性，都支持了迭代器。list认识我们先来看一下lis
写在前面这个博客主要谈一下环境变量和程序地址空间,其中程序地址空间可能有点不好理解,但是这个可以帮助我们解决前面我们遗留的一些问题,以后我们几乎都要和程序地址空间打交道,很重要.当然,前面的环境变量也解决了我们的指令问题.环境变量在谈这个之前,我们先来看一个例子,引出这个话题.#include <stdio.h> int main() { printf("
公司自建的hdfs集群，后期使用阿里的Maxcompute，就需要迁移数据到新环境中，阿里提供众多的迁移方案，在经过我们的实践后，最终选择了MMA，迁移数据Hive到Maxcompute。
一文看懂大数据生态圈完整知识体系
徐葳
随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。
目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。
图1
一、数据采集技术框架
数据采集也被称为数据同步。随着互联网、移动互联网、物联网等技术的兴起，产生了海
Oozie是一个基于工作流引擎的开源框架，依赖于MapReduce来实现，是一个管理 Apache Hadoop 作业的工作流调度系统。是由Cloudera公司贡献给Apache的，它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。
在众多 Hadoop 版本中， CDH（Cloudera Hadoop） 是 Hadoop 众多分支中比较出色的版本， 它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。Hadoop发行版除了社区的Apache hadoop外，Cloudera Hadoop（CDH）、Hortonworks、MapR、EMC、IBM、INTEL、华为等都提供自己的商业版本。