一个完善的数据仓库必须含有一个完整的数据质量管理系统与元数据管理系统，但是目前国内的数据仓库对数据质量管理这块都不是那么重视，我个人觉得这是一个很大的误区，一个数据仓库如果连数据质量都无法保证，还如何基于做出有效的分析来给决策者做决策的依据？
从个人理解的角度看，数据质量管理系统应该包含数据质量检测、脏数据的处理与修正这两块。对于数据质量检测这块，又分
转载
2024-07-17 09:07:53
68阅读
数据质量人人有责，这不仅仅只是一句口号，更是数据工作者的生命线。数据质量的好坏直接决定着数据价值高低。数据质量管理是指在数据创建、加工、使用和迁移等过程中，通过开展数据质量定义、过程控制、监测、问题分析和整改、评估与考核等一系列管理活动，提高数据质量以满足业务要求。可按照“谁创建、谁负责；谁加工、谁负责；谁提供、谁负责”的原则界定数据质量管理责任，由数据流转环节的各责任方对管辖范围内的数据质量负责
今天来填 2 个月前的坑。之前提到了数据质量：【数仓】数据质量我在面试中也碰到了数据质量的问题，没回答出来。今天学习一下数据质量监控原则。1.数据质量概述数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期，只有达到数据的使用预期才能给予管理层正确的决策参考。数据质量管理作为数据仓库的一个重要模块，主要可以分为数据的健康标准量化、监控和保障。2.数据质量标准分类
转载
2024-04-27 21:40:28
118阅读
系统背景 夏季，是国内河流的丰水期，再加上降水造成了中小河流汛期的到来，对该水域的防洪减灾工作造成了压力，需建立24小时在线的监测系统。为了保障防洪安全、加强河道管理，需实时监测河流水文数据，做好排水泄洪的预案，降低洪涝造成的人财产损失。 系统架构 中小河流水文监测系统，基于物联网、互联网、智能感知等技术衍生而来，通过采集终端设备在线监测河流水文数据，经智能控制箱把水文数据反馈到云平台，
做过运维的应该都做过http服务了。像一些电子商城，或者是一些互联网公司，web的服务之类是至关重要的，近期看了刘天斯大哥的书觉得自己运维平台应该也可以这样去监控服务之类，今天学习了pycurl模块，这里记录一下: 模块相关说明:c = pycurl.Curl() #创建一个curl对象&nbs
推荐
原创
2015-03-03 16:49:55
3443阅读
点赞
6评论
导言：本文介绍了通过中易云自主研发工业智能网关实现对PLC的远程数据采集与控制，以及在易云物联网综合管控云平台的基础上搭建的PLC远程监控系统对机械设备运行、维护的重要意义。
背景：随着工业生产、制造环节的不断深化，工业设备的结构越来越复杂，借助PLC实现的自动化控制技术被广泛应用于工业设备中。然而这些高端的自动化运转系统所需要的人力维护成本也是不容忽视的，一旦某台设备出现故障或者运行轨迹
转载
2024-03-19 21:09:06
26阅读
一、效果图：二、需求说明：最近需要对节点到源站、办公环境访问业务平台网站质量和办公网络线路质量的监控，简单的ping可以检测到一些东西，但是http请求的检查也要进行，于是就研究了下pycurl。PycURl是一个C语言写的libcurl的python绑定库。libcurl 是一个自由的，并且容易使用的用在客户端的 URL 传输库。它的功能很强大，PycURL 是一个非常快速（参考多并发操作）和丰
推荐
原创
2015-11-17 21:19:51
6924阅读
点赞
4评论
如何快速、准确的定位和发现外网故障，对于保证用户访问体验的重要性不言而喻，下来跟随作者一同去看看360是如何高效率检测外网故障的吧。
转载
2021-07-09 13:43:25
313阅读
女主宣言用户在访问360服务器时，会经过运营商链路、各省的机房然后到达vip，那么在这个链路中任何一个环节出现问题，都会导致用户无法正常上网。如何快速、准确的定位到这个链路中的哪个环节出现了故障？对于运维的人员来说是至关重要的。下来跟随作者一起来探讨下外网质量监控系统在360是如何实践的吧。PS：丰富的一线技术、多元化的表现形式，尽在“360云计算”，点关注哦！1背景介绍 用户在访问360服务器时
原创
2021-03-20 07:03:57
262阅读
以技术视角探索：Scada - 实时监控与自动化系统的开源解决方案 Scada前端错误监控，性能上报SDK项目地址:https://gitcode.com/gh_mirrors/sca/Scada 项目简介是一个面向现代工业环境的实时数据采集与控制系统（Supervisory Control And Data Acquisition）的开源项目。它旨在提供一套灵活、可扩展的框架，用于构建和管理工厂
拥塞问题：拥塞： 当在网络中存在过多的报文时 ,网络的性能会下降 ,这种现象称为拥塞。拥塞控制： 拥塞控制就是网络节点采取措施来避免拥塞的发生或者对拥塞的发生做出反应。拥塞控制主要考虑端节点之间的网络环境 , 目的是使负载不超过网络的传送能力。拥塞控制算法包含拥塞避免 (congestionavoidance)和拥塞控制 (congestioncontrol) 这两种不同的机制。拥塞控制是“恢复”
工作原理：基于/proc 文件系统Linux 系统为管理员提供了非常好的方法，使其可以在系统运行时更改内核，而不需要重新引导内核系统，这是通过/proc 虚拟文件系统实现的。/proc 文件虚拟系统是一种内核和内核模块用来向进程（process）发送信息的机制（所以叫做“/proc”），这个伪文件系统允许与内核内部数据结构交互，获取有关进程的有用信息，在运行中（on the fly）改变设置（通过
转载
2024-07-08 22:39:22
51阅读
0x00 概述随着大数据时代的带来，数据的应用也日趋繁茂，越来越多的应用和服务都基于数据而建立，数据的重要性不言而喻。而且，数据质量是数据分析和数据挖掘结论有效性和准确性的基础，也是这一切的数据驱动决策的前提！如何保障数据质量，确保数据可用性是每一位数据人都不可忽略的重要环节。数据质量，主要从四个方面进行评估，即完整性、准确性、一致性和及时性，本文将会结合业务流程和数据处理流程，对这个四个方面进行
转载
2024-08-23 10:38:35
58阅读
一、开始的话使用python简单的实现websocket服务器，可以在浏览器上实时显示远程服务器的日志信息。之前做了一个web版的发布系统，但没实现在线看日志，每次发布版本后，都需要登录到服务器上查看日志，非常麻烦，为了偷懒，能在页面点几下按钮完成工作，所以这几天查找了这方面的资料，实现了这个功能，瞬间觉的看日志什么的，太方便了，以后也可以给开发们查日志，再也不用麻烦运维了，废话少说，先看效果吧。
转载
2023-07-29 23:56:24
265阅读
0x00 概述随着大数据时代的带来，数据的应用也日趋繁茂，越来越多的应用和服务都基于数据而建立，数据的重要性
转载
2021-07-02 17:21:13
955阅读
0x00 概述随着大数据时代的带来，数据的应用也日趋繁茂，越来越多的应用和服务都基于数据而建立，数据的重要性不言而喻。而且，数据质量是数据分析和数据挖掘结论有效性和准确性...
转载
2021-07-06 15:18:06
441阅读
原标题：收藏 | 质量控制常用的10大方法实验室内质量控制又称内部质量控制，它是实验室分析人员对测试过程进行自我控制的过程。依靠自己配置的质量控制样品，通过分析并应用某种质量控制图或其他方法来控制分析质量。实验室间质量控制一般是指由通晓分析方法和质量控制程序的专家小组对实验室及其分析人员的分析质量定期或不定期试行考查的过程。包括分发标准样对诸实验室的分析结果进行评价、对分析方法进行协作实验验证、加
以下内容是杨小一发布的第一篇项目管理文档，本想多写的技术，只是随着工作的发展，有了越来越多的文档要杨小一编写。也许这是自己职业发展的必然吧。其实今天做了一个比较好的Excel的代码走查报告，只是无法放进去，本篇也是自己完成的。作为积累吧。----------------------------------------------------华
转载
2023-12-23 20:46:07
27阅读
一、监控1.日常监控数据落地监控数据掉0监控：实际扩展一下就是数据量阈值监控，少于某个量就告警重复数据监控：很多表一定要监控重复数据的，这点至关重要。关键指标监控数据同比环比监控2. 数据对账这点主要会体现到实时数据上，特别是Kafka数据落地，必须要有一个监控机制来知道我们的数据落地情况。当然离线数据同样需要数据对账，对账方法有很多，比如可以和业务库来对比。3. 性能监控我把这点理解为数据可用性
转载
2024-03-12 19:23:20
81阅读
作为项目的主要负责人，项目经理在计划过程中需要考虑控制质量的方法，并记录到质量管理计划中，然后在应用到项目执行的过程中去。般来讲，项目质量控制有以下一些方法是项目经理需要掌握的。 (1)统计抽样。按照质量管理计划中的规定，抽取和测量样本。(2)质量检验法。质量检验是指那些测量、检验和测试等用于保证工作结果与质量要求相一致的质量控制方法。(3)控制图法。控制图法是建立在统计质量管理方法基
