DockerDocker镜像的首行从FROM alpine之类的镜像开始，但是最初的基础镜像是如何创建的，本文使用一个busybox创建一个基础镜像，相信在此过程中会对docker一些相关的概念有进一步的理解。什么是基础镜像（base image）简单来说，基础镜像就是没有From或者FROM scratch开头的Dockerfile所构建出来的镜像。比如alpine，这个很小的linux镜像目前
转载
2024-07-04 22:45:05
33阅读
# 用Docker部署Apache Flink
Apache Flink 是一款流式数据处理引擎，能够处理大规模的数据流。在实际应用中，我们通常会使用 Docker 来部署 Flink，以方便管理和扩展。本文将介绍如何使用 Docker 部署 Apache Flink，并提供一些代码示例来帮助您快速上手。
## 准备工作
在开始之前，您需要安装 Docker 和 Docker Compose
原创
2024-07-04 06:25:58
34阅读
# Flink Java教程
## 简介
欢迎来到Flink Java教程！在本教程中，我将带你从零开始学习如何使用Java来开发Flink应用程序。无论你是刚入行的小白，还是有一定经验的开发者，本教程都将帮助你快速上手。
## 整体流程
首先，让我们来看一下整个实现“Flink Java教程”的流程。以下是流程图：
```mermaid
flowchart TD
A[准备工作]
原创
2024-01-30 06:41:18
47阅读
# 从flink datastream写入hive
在实时数据处理的场景下，很多时候我们需要将flink实时处理的数据写入到hive中进行存储和分析。本文将介绍如何使用flink datastream将实时处理的数据写入hive表中。
## 1. 准备工作
在开始之前，我们需要确保已经安装好flink和hive，并且hive表已经创建好。
## 2. 代码示例
### 2.1 创建一个D
原创
2024-05-19 03:13:17
138阅读
第1章 Clickhouse简介 ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。 OLAP场景的关键特征： 1）大多数是读请求 2）数据总是以相当大的批(> ...
转载
2021-08-03 23:23:00
1273阅读
2评论
第1章 电商实时数仓介绍 1.1 普通实时计算与实时数仓比较 普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。 实时数仓基于一定的数 ...
转载
2021-07-28 13:57:00
1223阅读
2评论
第1章 DWM层和DWS设计 1.1 设计思路 DWM(Data WareHouse Middle)，一般称为数据中间层. 该层会在DWD层的基础上，对数据做轻度的聚合操作，生成一系列的中间表，提升公共指标的复用性，减少重复加工。直观来讲，就是对通用的核心维度进行聚合操作，算出相应的统计指标。 我们 ...
转载
2021-08-07 17:01:00
525阅读
2评论
第1章 电商实时数仓介绍 1.1 普通实时计算与实时数仓比较 普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。 实时数仓基于一定的数 ...
转载
2021-07-28 13:57:00
1637阅读
2评论
第1章 DWM层和DWS设计 1.1 设计思路 DWM(Data WareHouse Middle)，一般成为数据中间层，该层会在DWD层的基础上, 对数据做轻度的聚合操作，生成一系列的中间表，提升公共指标的复用性，减少重复加工。直观来讲，就是对通用的核心维度进行聚合操作，算出相应的统计指标。 我们 ...
转载
2021-08-03 18:51:00
500阅读
2评论
第 1 章 Prometheus入门 Prometheus受启发于Google的Brogmon监控系统（相似的Kubernetes是从Google的Brog系统演变而来），从2012年开始由前Google工程师在Soundcloud以开源软件的形式进行研发，并且于2015年早期对外发布早期版本。 2 ...
转载
2021-08-10 17:13:00
936阅读
2评论
# 在Java Flink中处理嵌套式JSON数据的完整指南
在大数据处理中，JSON是一种常用的数据格式，尤其是当数据有嵌套结构时。Java Flink作为一种流处理框架，提供了丰富的功能来快速处理JSON数据。本文将为你介绍如何在Java Flink中处理嵌套式JSON数据，包括步骤和代码示例。
## 流程概述
在本文中，我们将通过以下步骤来处理嵌套式JSON：
| 步骤 | 描述 |
窗口函数的主要作用是对数据进行分组排序、求和、求平均值、计数等。1.窗口函数的基本语法<分析函数> OVER ([PARTITION BY <列清单>] ORDER BY <排序用列清单> [ROWS BETWEEN 开始位置 AND 结束位置])理解窗口函数的基本语法： over()函数中包括三个函数：包括分区 partition by 列名、排序 orde
Kafka是一个分布式的消息发布-订阅系统。可以说，任何实时大数据处理工具缺少与Kafka整合都是不完整的。本文将介绍如何使用Spark Streaming从Kafka中接收数据，这里将会介绍两种方法：（1）、使用Receivers和Kafka高层次的API；（2）、使用Direct API，这是使用低层次的KafkaAPI，并没有使用到Receivers，是Spark 1.3
转载
2024-03-27 16:35:20
23阅读
SQL Select的一般步骤： 1．打开你要查询的表。你要查询的表为基础表（Base Table） 2．选择Query>SQL Select，填写SQL Select对话框满足你需要的那些分。按击OK，Mapinfo进行查询。 Mapinfo从你的基础表中抽出数据，把查询结果保存在一个被称为结果表的特殊临时表中。结果表仅有满足你的条件的行和列。结果表的默认名是Selection(
转载
2023-07-11 17:44:17
164阅读
文章目录一、Docker 提供用于管理镜像和容器命令导出镜像（docker save）与导入镜像（docker load）：导出容器（docker export）与导入容器（docker import）：二、四个命令的用法和应用场景1.案例一2.案例二二、四个命令的参数解析1.docker save 命令：2.docker load 命令：3.docker export 命令：4.docker
转载
2023-09-01 22:42:29
1606阅读
Docker镜像原理1.镜像是什么？镜像是一种轻量级、可执行的独立软件包，用来打包软件运行环境和基于运行环境的开发软件，它包含运行某个软件所需的所有内容，包括代码、运行时、库、环境变量和配置文件。镜像就是像照镜子一样。我们一般说的镜像是指给系统作个ghost镜像。这样可以在很短时间，很方便的还原出一个完整的系统来。镜像可以说是一种文件,比如iso,gho都属于镜像文件,镜像文件可以直接刻录到光盘中
转载
2023-08-31 21:06:12
191阅读
最近做了一个好玩的工具，叫 xbin.io[1] 。其中有一项工作是为不同的工具来构建 Docker 镜像，让他们都运行在 Docker 中（实际上，是兼容 Docker image 的其他 sandbox 系统，没有直接用 Docker）。支持的工具越来越多，为了节省资源，Build 的 Docker image 就越小越好，文件越少，其实
转载
2023-10-12 17:19:21
174阅读
镜像镜像管理 文章目录镜像镜像管理1. 镜像的概念2. docker镜像层3. docker存储驱动3.1 AUFS3.2 OverlayFS3.3 DeviceMapper3.4 docker registry4. docker常用命令5. docker镜像的制作5.1Docker Hub5.2 docker镜像的获取5.3镜像的生成5.4基于容器制作镜像6.镜像的导入与导出7. 在容器中运行h
转载
2023-08-20 19:09:56
15阅读
镜像类似程序文件是静态的，容器相当于进程是动态的。一、Docker 镜像通俗的讲，可以将Docker镜像理解为包含应用程序以及其相关依赖的一个基础文件系统，在Docker容器启动的过程中，它以只读的方式被用于创建容器的运行环境。Docker镜像其实是由基于UnionFS文件系统的一组镜像层依次挂载而得，而每个镜像层包含的其实是对上一镜像层的修改，这些修改其实是发生在容器运行的过程中的。所以，也可以
转载
2023-08-22 13:59:37
114阅读
安装步骤一、docker的安装和云端的推送1.本地安装docker工具ubutun环境下centos环境下2.创建镜像仓库3.构建docker镜像，并push到云端所需文件的准备镜像的构建和PUSH到云端二、云端镜像的本地使用三、附录：docker常用命令的总结1.镜像的删除全部删除部分删除2.进入无法运行的镜像3.问题记录docker 运行ImportError: libtinfo.so.5:
转载
2023-07-28 11:56:57
4阅读
