本系统大体分为三个部分Master/Segment/Client：Master和Segment都是一个单独的PostgrepSQL数据库。每一个都有自己单独的一套元数据字典。Segment节点与Master节点的通讯，通过万兆网卡组成的内部网络连接（InterConnect）。Client一般只能与Master节点进行交互。m数据库说明1. 统一分析处理可以在同一个并行数据流引擎上执行所有查询和分
转载
2024-03-07 14:57:30
79阅读
Apache Griffin 数据质量监控工具官网：http://griffin.apache.org/docs/quickstart-cn.html github: https://github.com/apache/griffin 参考：https://cwiki.apache.org/confluence/display/GRIFFIN/1.+Overview 测试流数据：http://gr
一、环境生产环境数据质量监控griffin：地址：http://XXXXXXXXX:4200/#/health账号：admin密码：123456二、Griffin是干什么的？官方介绍大数据模块是大数据平台中数据方案的一个功能组件，Griffin（以下简称Griffin）是一个开源的大数据数据解决质量模式，它支持所有数据和流数据方式检测质量模式，可以从不同维度（不同标准执行完毕后检查源端和目标端的数
原创
2023-05-06 16:07:46
628阅读
数据质量监控规划一、项目背景数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比较。数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。 二、数据质量产生的原因 &nb
转载
2024-09-22 20:25:39
52阅读
下载镜像docker pull apachegriffin/griffin_spark2:0.3.0docker pull apachegriffin/elasticsearch在喜欢的目录下创建docker的配置文件griffin-compose-batch.ymlgriffin: image: apachegriffin/griffin_spark2:0.3.0 # 下载的镜像名称 hostname: griffin # 设置的docker主机名 links: - es #
原创
2023-05-06 16:18:57
303阅读
一、概述随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由
原创
2022-03-28 17:25:39
1506阅读
一、概述随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时，数据的唯一性、完整性、一致性等等校验就开始受到关注，而通常做法是根据业务特点，额外开发job如报表或者检查任务，
原创
2021-07-09 10:28:27
3084阅读
一、数据质量监控工具：Griffin(扩展)
### --- 为什么要做数据质量监控：garbage in garbage out
~~~ # 数据不一致
~~~ 企业早期没有进行统一规划设计，大部分信息系统是逐步迭代建设的，
~~~ 系统建设时间长短各异，各系统数据标准也不同。
~~~ 企业业务系统更关注业务层面，各个业务系统均有不同的侧重点
转载
2024-07-12 02:49:53
81阅读
官方源码： https://gitee.com/apache/griffin/tree/master 下载到本地一、启动前需要先安装以下环境Jdk（1.8 or later versions）Postgresql or Mysql（用于存储Measure、job等元数据信息）npm（version 6.0.0+，用于编译ui模块）Hadoop（2.6.0 or later，需要
转载
2024-04-26 18:18:50
158阅读
文章目录一 简介二 架构Apache Griffin具备的能力Apache Griffin处理数据的方式Apache Griffin架构图Apache Griffin的工作流三 环境部署1，部署jdk版本2，部署mysql版本3，部署hadoop版本4，部署hive版本5，部署Spark版本6，部署Livy版本7，部署Elasticsearch5版本8，部署Zookeeper四 使用实例基于Ap
## 实现“griffin docker”步骤及代码解析
### 引言
在软件开发中，使用Docker进行部署和管理应用程序已经变得相当普遍。对于刚刚入行的开发者来说，理解和掌握Docker的使用是非常重要的。本文将以实现“griffin docker”为例，介绍如何使用Docker进行开发和部署。
### 流程图
```mermaid
flowchart TD
A[克隆项目] -
原创
2023-12-30 09:24:44
55阅读
一、安装部署依赖准备JDK（1.8 或更高版本）MySQL(5.6及以上版本)Hadoop（2.6.0 或更高版本）Hive（版本 2.x）Spark（版本 2.2.1）Livy（livy-0.5.0-incubating）ElasticSearch（5.0 或更高版本）二、安装1、MySQL：在MySQL中创建数据库quartz，然后执行Init_quartz_mysql_innodb.sql脚本初始化表信息：2、Hadoop和Hive：从 Had
原创
2023-05-06 16:18:58
751阅读
实现“docker griffin”流程：
1. 安装Docker
2. 创建Docker镜像
3. 创建并运行Docker容器
4. 配置Griffin运行环境
5. 运行Griffin任务
下面是每一步需要做的事情以及相应的代码示例：
1. 安装Docker
首先，你需要安装Docker。在命令行中运行以下命令：
```bash
sudo apt-get update # 更新软件
原创
2024-01-21 04:22:52
98阅读
# 实现“Apache Griffin docker”的步骤
## 步骤表格
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 下载并安装Docker |
| 2 | 下载Apache Griffin Docker镜像 |
| 3 | 运行Apache Griffin Docker容器 |
| 4 | 访问Apache Griffin Web界面 |
## 操作指南
##
原创
2024-04-12 05:29:33
100阅读
Apache Griffin是一个开源的大数据质量解决方案，它支持批处理和流处理两种模式的数据质量检测方式。可以从
# Griffin Service 扩展 MySQL 的实现指南
## 一、流程概述
在实现 Griffin 服务扩展 MySQL 的过程中，我们将按照以下几个步骤进行操作。请参阅下表：
| 步骤 | 操作 | 描述 |
|------|----------------
# Griffin的Dockers安装
## 引言
在软件开发和运维过程中，我们经常需要部署和管理各种不同的应用程序。为了简化这个过程，容器化技术应运而生。Docker是目前最流行的容器化解决方案之一，它可以帮助我们将应用程序及其依赖项打包成一个独立的容器，并运行在任何支持Docker的平台上。
本文将介绍如何在Griffin中安装Docker，并提供一些示例代码来帮助您快速上手。
##
原创
2023-10-28 13:22:48
424阅读
你们专心刷题和面试Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。一. 组件及版本...
转载
2022-04-26 16:02:09
438阅读
你们专心刷题和面试Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。最近我发现，Ap...
转载
2022-04-26 16:04:35
622阅读
## 实现“griffin必须依赖hadoop”的步骤和代码示例
### 流程图
```mermaid
flowchart TD;
A(下载Hadoop) --> B(安装Hadoop);
B --> C(配置Hadoop);
C --> D(下载Griffin);
D --> E(配置Griffin);
```
### 关系图
```mermaid
erD
原创
2024-06-17 04:05:22
48阅读
