数澜的博客_51CTO博客

「数据治理那点事」系列之二：手握数据「户口本」，数据治理肯定稳！

这篇文章主要从数据治理的基础和核心之一：元数据入手，从以下几个角度展开具体讲解：元数据概念元数据的分布和采集元数据的一些实际应用场景一、元数据到底是个啥？如果我说：元数据（MetaData），就是描述数据的数据。没有技术背景加持的路人粉看到这句「绕口令」，内心可能会浮现这样的想法：简单点，其实元数据相当于数据的户口本。户口本是什么？它除了包含个人姓名、年龄、性别、×××号码等各种基本描述信息外，还

数据治理

原创 2019-07-31 11:07:54 293 阅读

Giraph源码分析（四）—— Master 如何检查Worker启动成功

本文的目的说明Giraph如何借助ZooKeeper来实现Master与Workers间的同步（不太确定）。环境在单机上（机器名：giraphx）启动了2个workers。Giraph遵从单Master多Workers结构，BSPServiceMaster使用MasterThread线程来进行全局的同步。每个Worker启动成功后，会向Master汇报自身的健康状况，那么Master是如何检测Wo

源码

数据开发

原创 2019-07-26 10:32:16 371 阅读

Giraph源码分析（三）—— 消息通信

由前文知道每个BSPServiceWorker有一个WorkerServer对象，WorkerServer对象里面又有ServerData对象，作为数据实。ServerData中包含该Worker的partitionStore、edgeStore、incomingMessageStore、currentMessageStore、聚集值等。其中incomingMessageStore对象为Messa

数据开发

原创 2019-07-25 14:39:26 484 阅读

“数据治理那点事”系列之一：那些年我们一起踩过的坑

大数据时代，数据成为社会和组织的宝贵资产，像工业时代的石油和电力一样驱动万物，然而如果石油的杂质太多，电流的电压不稳，数据的价值岂不是大打折扣，甚至根本不可用不敢用，因此，数据治理是大数据时代我们用好海量数据的必然选择。但大家都知道，数据治理是一项长期而繁杂的工作，可以说是大数据领域中的脏活累活，很多时候数据治理厂商做了很多工作，客户却认为没有看到什么成果。大部分数据治理咨询项目都能交上一份让客户

数据治理

数据开发

原创 2019-07-25 10:31:42 1144 阅读

大数据是啥，可以吃的吗？

作者|影姿关于大数据是什么，从一开始仅仅只想做数据，到开始意识到自己做的是对整个集团有核心意义的数据产品，再到走到外面，把数据能力对外输出，所有过程中，不断的有客户问到这个问题，有懵懂的、有善意的、也有挑衅的、不屑的。就像大数据本身一样，混乱又带有迷幻色彩。现在对大数据的理解有两种极端：站在大数据的风口，很多人觉得大数据是未来，可以解决所有问题，包括人工智能；我自己不用想，大数据已经替我想好决定好

大数据

原创 2019-07-23 11:13:04 569 阅读 1点赞

全新一代企业级大数据应用模式揭秘

数据仓库这个概念在二十多年前由Bill Inmon提出后，几乎所有的IT厂商都开始介入这个领域，为企业级数据仓库设计非常复杂的体系结构和数据模型，典型的企业级数据应用架构如下：

数据中台

数据仓库

转载 2019-07-23 10:18:56 285 阅读

Mock工具wiremock-py

wiremock-py 是基于 WireMock 实现的, 使用 Python 批量生成不同测试场景下不同HTTP API 的 mock 数据, 然后作为 mock server 快速全面地对 API 进行测试。

数据开发

原创 2019-07-23 10:10:40 981 阅读

Giraph源码分析（二）—启动Master/Worker服务

作者|白松注：本文为原创，引用转载需与数澜联系。1、org.apache.giraph.bsp.CentralizedService接口功能：BasicserviceinterfacesharedbybothCentralizedServiceMasterandCentralizedServiceWorker.2、org.apache.giraph.bsp.CentralizedServiceMa

数据开发

原创 2019-07-22 20:02:52 256 阅读

Giraph源码分析（一）— 启动ZooKeeper服务

作者|白松【注：本文为原创，引用转载需与博主联系。】Giraph介绍：ApacheGiraphisaniterativegraphprocessingsystembuiltforhighscalability.Forexample,itiscurrentlyusedatFacebooktoanalyzethesocialgraphformedbyusersandtheirconnections.G

数据开发

原创 2019-07-22 19:50:02 523 阅读

浅析HDFS架构和设计

作者|大尊hdfs是hadoop的分布式文件系统，即HadoopDistributedFilesystem。下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥HDFS的全貌，适合对HDFS有一点了解，但是对HDFS又感到困惑的初学者。本文主要参考的是hadoop3.0的官方文档。链接：http://hadoop.apache.org/docs/current/hadoop-pro

数据开发

原创 2019-07-22 19:44:05 563 阅读 1收藏

你的企业真的需要「数据中台」吗？

作者：铁叫兽一、如何理解数据中台在解决你是否需要数据中台这个问题之前，让我们先理理它究竟是什么。它是工具？是方法？还是组织架构？我的回答是：都不仅仅是。数据中台包括平台、工具、数据、组织、流程、规范等一切与企业数据资产如何用起来所相关的。企业所属行业不同，经营策略不同，从而数据场景也千差万别。再加上企业人员运用数据的能力参差不齐，这就导致了每一家企业的数据中台都是独一无二的，不是购买一个所谓的数据

数据中台

原创 2019-07-22 19:34:32 289 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯