数据质量监控工具-Apache Griffin本地安装和调试 1 、Apache Griffin简介 Griffin起源于eBay中国，并于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。 Griffin是属于模型驱动的方案，基于目标数据集合或者源数据集(基准数据)，用户可以选择不同的
转载
2024-05-06 15:56:34
129阅读
# 使用 Flink CDC 实现 MySQL 数据处理示例
## 一、流程概述
使用 Flink CDC 处理 MySQL 数据的过程大致可以分为以下几个步骤。接下来我们将通过一个示例来逐步实现这个流程。
| 步骤 | 操作 | 说明 |
|------|---------------
1、Hadoop解决了哪些问题？###由于硬盘存储能力的提升速度远大于数据读取的提升速度，1T硬盘对应的读取速度为100M/s，因此需要花费两个多小时的时间来读取所有数据，而如果我们拥有100个硬盘并行读取，则只需要花费大约两分钟，所以我们更加愿意去共享硬盘来获取更快的读取速度，而这样就会出现两个问题：数据存储问题：由于硬盘数量变大，硬盘出错的可能性也会相应变大，这就需要我们对数据进行备份，Had
转载
2024-01-16 18:08:43
68阅读
场景：
原创
2022-08-24 00:41:48
334阅读
背景大数据时代,日常工作中经常会处理数以亿计的数据。 笔者近期就遇到了一个十亿级以上的数据排序需求,并输出序号。 如果是小规模数据我们直接使用row_number全局排序就可以了，但是当数据规模达到十亿或者以上时，直接使用row_number肯定是不太现实。 因为全局排序的时候变成了单节点任务，要么超内存，要么就超时。经过几轮调试，问题解决了，并且性能还不错，笔者把处理这个问题的思路与解决方案分享
转载
2023-07-12 20:42:31
149阅读
注释：这篇文章也是来自于某一个时间，拿到今天在主数据管理、在数据质量实施中还是有很多方法是完全通用的
转载
2022-12-27 10:58:43
211阅读
ETL 是数据仓库的最重要的基础，良好的 ETL 从业务系统中抽取数据，转换数据质量，保证数据一致性，这样才能够保证各个独立的不同的数据源能够集成到一起，最终只有这样才能真正达到决策支持的目的。
自己用英文写的，在翻译回来，感觉很蹩脚，也做了很多删减！
ETL 是数据仓库的最重要的基础，良好的 ETL 从业务系统中抽取数据，转换数据质量，保证数据一致性，这样
原创
2009-10-15 22:31:00
1352阅读
本文是《Spark大数据处理》系列的第四篇，其他三篇：Spark介绍、Saprk SQL和Spark Streaming。最近几年，机器学习、预测分析和数据科学主题得到了广泛的关注。Spark的机器学习库（Spark MLlib），包括各种机器学习算法：协同过滤算法、聚类算法、分类算法和其他算法。在前面的《Spark大数据处理》系列文章，介绍Apache Spark框架，介绍如何使用Spark S
转载
2024-06-08 14:37:49
38阅读
一个质量高的demo是配上图片，下载者仅需经过几步配置就能正常运行
原创
2015-06-05 23:25:20
528阅读
自从有娃以后，很久没有时间好好摸一摸编程了，周末的时候正好出门溜娃，就想到了空气质量的问题，虽然有APP啊上海发布啊之类的可以查，但我偏偏就是手贱要爬米帝领事馆的数据。（PM2.5监测网上的监测站点更多，但数据似乎总是低于美国领事馆公布的AQI）是时候捡起python了！于是回到家，等孩子他妈哄睡了宝宝之后（妈妈真辛苦），我开始研究怎么实现我想要的功能。 右侧就是我们想要的每个监测点的数
转载
2024-08-28 13:16:29
48阅读
# CountDownLatch demo演示数据分片多线程处理
package com.example.core.mydemo;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import java.util.concurrent.CountDownLatch;
import java.uti
原创
2024-10-18 10:15:15
43阅读
目录问题描述问题排查思路确认Listener状态Java异常体系捕获ThrowableThreadPoolExecutor的线程无故丢失问题Java Heap OOM解决方案：问题描述 代码不方便展示，只大概介绍一下sqlserver cdc的实现原理： 源码使用的是FlinkS，并对其sqlserver-connector进行的改造，其中Sql
转载
2023-11-02 08:47:04
154阅读
AJAX Suggest实例在下面的 AJAX 例子中，我们会演示当用户向一个标准的 HTML 表单中输入数据时网页如何与 web 服务器进行通信。 在下面的文本框中输入名字： First Name： Suggestions：no suggestion 例子解释 - HTML表单表单的 HTML 代码：onkeyup="showHint(this.value)"正如您看到的，这是一个简单的带有
# Java处理视频Demo
## 概述
在本文中，我将向你介绍如何使用Java处理视频的方法和步骤。作为一名经验丰富的开发者，我将为你提供详细的指导，帮助你学会实现这个功能。
## 整体流程
下面是实现Java处理视频的整体流程，我们将按照以下步骤进行操作：
```mermaid
journey
title Java处理视频Demo
section 准备工作
原创
2024-01-16 08:35:00
53阅读
# Python 并行处理入门指南
对于刚入行的小白来说，了解并发和并行处理是提升程序性能的关键。并行处理允许我们同时执行多个任务，这可以显著提高处理速度，尤其是在处理大量数据时。本文将逐步带你实现一个简单的 Python 并行处理示例，帮助你理解并掌握这个概念。
## 1. 并行处理的基本流程
在开始我们的小项目之前，我们需要明确整个流程。以下是实现并行处理的基本步骤。
| 步骤 | 描
原创
2024-09-24 08:30:45
39阅读
前段时间详细地阅读了 《Apache Flink的流处理》 这本书，作者是 Fabian Hueske&Vasiliki Kalavri，国内崔星灿翻译的，这本书非常详细、全面得介绍了Flink流处理，并且以气象数据的例子讲解其中的使用，我把其中一些比较重要的句子做了比较，并且分享给大家。有一些我不是很理解，需要以后慢慢去消化，我就不做详细的展开。一、传统的数据处理框架1.1事务型处理企业
## 如何使用Python进行数据处理筛选高质量的文章
作为一名经验丰富的开发者，我非常乐意教你如何使用Python进行数据处理筛选高质量的文章。在本文中，我将为你介绍整个流程，并提供每个步骤所需的代码和注释。让我们开始吧！
### 整体流程
首先，让我们来看一下整个流程。下面的表格将展示每个步骤所需的操作和代码。
```
| 步骤 | 操作 | 代码 |
| ---- | ---- |
原创
2023-10-26 10:43:31
91阅读
随着科技的发展，特别是人工智能、云计算、机器学习等技术在图像和视频范畴的应用，图像智能修复变得越来越盛行，各种基于人工智能的云计算、机器学习的应用，可以轻轻松松，简单几步就能把模糊照片变成高清大图。我们经常碰到的是图片质量低、模糊不清，我们常常也能轻而易举地导致图片清晰度的下降，甚至都不用我们主动去做什么，在图片传播的过程当中，图片质量都是在逐步降低的。像是我们拍摄的照片，经过后期的P图，修改往往
转载
2023-12-15 19:36:29
100阅读
多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。今天我们不扯大篇理论，直接以例子来实践，排查是否出现了数据倾斜，具体是哪段代码导致的倾斜，怎么解决这段代码的倾斜。当执行过程中任务卡在 99%，大概率是出现了数据倾斜，但是通常我们的 SQL 很大，需要判断出是哪段代码导致的倾斜，才能利于我们解决
转载
2023-10-01 12:07:02
112阅读
时代在发展，社会在进步。大数据在时代的发展中占据着举足轻重的地位，大数据和人工智能技术的结合造就了新一代人工智能产业。从目前的发展来看，数据本身已经成为了企业竞争力的本源。对数据的掌控和对用户的刻画，决定企业占据行业地位的关键。近几年来，正是大数据积累和智能分析软件系统的进步，面向特定需求和应用场景，推动着传统人工智能的发展。以高效能数据处理、数据访问和数据传输为核心问题的大数据处理系统是支撑各种
转载
2024-02-26 08:05:50
35阅读
