需求背景 数据探查上线之前，数据验证都是通过写 SQL 方式进行查询的，从编写 SQL，到解析运行出结果，不仅时间长，还会反复消耗计算资源，探查上线后，只需要一次探查，就可以得到整张表的探查报告，但后续我们还发现了一些问题，主要有三点： 无法看到探查的数据明细以及关联的行详情，无法对数据进行预处理操作。探查还是需要资源调度，等待时长平均分钟级。与质量监控没有打通，探
数据质量:1/ 数据质量控制环节2/ 元数据管理数据质量包括:数据的完整性 数据自成体系、无数据缺失（包括实体记录缺失、字段信息缺失）数据一致性： 在整个数仓中，同一数据各主题、层次数据一致正确性： 在数仓各部分、确保数据不失真及时性： 整个数仓处理过程中，数据及时到位、及时反馈 数据质量的控制不只是在数据进入数仓后才开始，而是渗透到数据流通的各个环节：数据生产数据采集与同步数
转载
2024-08-21 23:25:07
89阅读
如何成功实现数据治理，如果你处理过大量数据，你也许听说过“数据治理”一词，你可能会想，它是什么?适不适合你?如何实施?简单来说，数据治理就是处理数据的策略——如何存储、访问、验证、保护和使用数据。数据治理包括制定获取方案：谁能访问、使用和共享你的数据。
这些问题正变得越来越重要，因为企业依靠收集、存储和分析大量数据，来达成业务目标。数据变成了企业的盈利工具、业务媒介和商业机密。数据泄露会导致法
知识目标1）了解数据质量的概念、重要性、质量评价方式2）熟悉数据质量的分析方法，掌握业务、技术、管理等几个维度3）掌握数据质量管理的方法论体系4）掌握数据质量事前、事中、事后控制策略及控制流程数据质量的基本概念数据是对现实世界的反应，数据质量指的是数据在多大程度上反应了真实世界。一般来说，如果数据代表的意义和目的不一致，数据就有质量问题。数据质量管理的定义：数据从计划，获取，存储，共享维护应用以及
转载
2024-10-08 10:00:49
194阅读
数据质量管理 概述数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比较。数据质量管理 是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。数据质量产生的根本原因源系统: 源系统的数据结构发生变化，这是常有的事，数据仓库只
SonarQube是一款代码质量检测工具，用于检测代码BUG，漏洞之类的，当然这类工具是辅助工具，不一定是代码有问题，需要设置扫描规则如果需要使用轻量级的，则可以直接安装sonarlint IDEA插件,本地化操作，不需要安装SonarQube服务端sonarlint 连接SonarQube环境检查：首选需要用到数据库，oracle、sql server、mysql都可以 这里使用mysql，安装
说到数据质量问题的原因，做过BI或数仓项目的小伙伴肯定都知道，这是一个业务和技术经常扯来扯去、互相推诿的问题。在很多情况下，企业都会把数据质量问题推给技术部门，让技术部门去查找和处理。但是企业的数据质量问题真的都是技术引起的吗，技术部门人一定会说：“这个锅我不背!” 其实，影响数据质量的因素主要就技术、业务、管理三个方面，下面我们就来从这三方面分析下产生数据质量问题都有哪些原因。 1、技术
转载
2024-07-12 10:46:01
0阅读
当前随着企业对数字化转型的需求越发迫切，也促使数据驱动创新及数据创造价值的模式已成为企业转型的重要共识。随着企业信息化的深入推进以及各种信息系统的大量建设、实施，有效地促进了业务生产效率及管理水平的提高，但是在数据应用时发现数据的准确性、一致性、及时性、可用性等方面还存在不少的问题。在这个大数据时代，数据的特性具有规模庞大、类型多样、流转速度快、价值密度低等特性，欣思博认为如果想要充分发挥大数据的
转载
2024-04-25 10:32:30
133阅读
我想表达的质量的分级，并不是质量分级管理策略，而且在面对不同规模的质量团队的时候，跟踪质量采取的策略不一样。作为部门体系建设者，40-100人规模，迭代中的产品很多的情况下质量数据，质量数据分为几个方面，一个是prod bug，一个是prod bug逃逸率，比较分为，横向比较和纵向比较，横向是不同的时间段，自己和自己比；纵向，是同一个时间段，部门内部产品对比。比较的意义在于，形成探讨和争议的氛围，
转载
2024-04-24 16:55:18
63阅读
上一篇文章：《数据质量检查-理论篇》主要介绍了数据质量检查的基本思路与方法，本文作为补充，从实战角度出发，总结一套基于Python的数据质量检查模板。 承接上文，仍然从重复值检查、缺失值检查、数据倾斜检查、异常值检查四方面进行描述。1.环境介绍版本：python2.7 工具：Spyder 开发人：hbsygfz2.数据集介绍数据集：dataset.xlsx3.代码实现3.1 导入相关库import
新一代客户数据整合（CDI）软件和主数据管（MDM）软件给数据质量的管理带来了很大方便。但是，数据质量的保证仅靠软件显然是不行的。实际上，在整个数据质量的控制过程中，人仍然是关键因素。例如，仅仅数 据的录入就涉及很多人: 销售人员会录入客户信息和交易数据，客户服务部门的工作人员除了录入交易数据外，还会录入所服务公司的新的联系人，订单录入人员会输入客户身份信息。同样，出于销售、市场推广、
转载
2024-05-02 07:56:28
113阅读
关于软件质量和软件测试的一点点看法 软件测试和软件质量的概念是分不开的。测试是手段，质量是目的。关于软件质量，学软件工程的时候曾考虑过这个问题，但想得不深。现在正好可以借把想法变成文字的过程理一理自己的思路，谈谈我的看法。在学校读书的时候，我有很多与我不同专业的朋友，建筑的，桥梁的，机械的，等等。他们有一个与我不同的共同之处，都常背一块大木板，机械制图是他们很重要的课程。我和我的同学们则
转载
2024-02-27 20:16:31
31阅读
近日工信部关于印发“十四五”大数据产业发展规划的通知中，特别提到各省、自治区、直辖市及计划单列市、新疆生产建设兵团工业和信息化主管部门（大数据产业主管部门），应参考《“十四五”大数据产业发展规划》印发文件，请结合实际，认真贯彻实施。数据的重要性不容小觑，用友在数据方向深耕多年，今天为大家分享数据治理的十个最佳实践案例。1找症状，明确目标任何企业实施数据治理都不是为了治理数据而治理数据，其背后都是管
大数据是什么？ 首先提一个问题：“大数据"是一项专门的技术吗？有的人可能会以为大数据是一项专门的技术，其实不是。“大数据"这三个字只是一门市场语言（Marketing Language），其背后是硬件、数据库、操作系统、I-ladoop等一系列技术的综合应用。大数据导论 大数据简史 大数据（Big Data)现在可以说是人尽皆知，其实真正回溯起来，其是由SGI的首席科学家 JohnR.Mase
转载
2024-08-27 15:47:05
107阅读
Expectation Maximization入门Expectation Maximization (EM) 是一种迭代算法，常用于处理含有隐变量的概率模型。在本篇文章中，我们将介绍EM算法的基本原理和应用领域，并通过一个简单的例子来说明其使用方法。基本原理EM算法的基本原理可以总结为以下三个步骤：初始化参数：选择合适的初始参数。E步（Expectation Step）：根据当前的参数估计值，计
原创
2023-10-30 11:23:01
91阅读
数据质量决定了数据对业务的内在价值。信息技术只是这个内在价值的放大镜。因此，高质量的数据与有效的技术相结合是一项巨大的资产，但低质量的数据与有效的技术相结合也是一项巨大的责任。 数据管理需要对数据以及相应的数据定义或元数据进行适当的管理。它旨在确保(元)数据质量良好，因此是有效和高效管理决策的关键资源。数据质量(DQ)通常被定义为“适合使用”，这意味着该概念的相对性质。 在另一个决策环
转载
2024-09-22 11:56:12
74阅读
上周末,帮朋友处理了一个关于大数据的查询与导出问题,整理一下,在此记录一下用以备忘,同时也为有类似需要的朋友提供一个参考.背景:数据库服务使用: SqlServer2008 ;查询的流水表总数据量约在 800W 条左右 ;需要展示的字段需要从流水表+基础资料表中导出需要 加载指定模板 ;要求查询响应时间<=2s,导出<=10s; (当然每次仅处理符合条件的数据) .该系统运行了大概2年
// Problem: A. Great Graphs// Contest: Codeforces - Codeforces Round #728 (Div. 1)/
原创
2022-08-16 14:49:36
65阅读
For some people, Louis vuitton bags are always bad things. I love your essay very much .Can you give me some ideas about Replica Handbags in their eyes are made of low quality materials and by workers
转载
精选
2010-04-14 19:56:20
602阅读
比赛的时候不会
原创
2023-07-05 20:10:25
20阅读
