数澜的博客_51CTO博客

最最最全数据仓库建设指南，速速收藏！！

开讲之前，我们先来回顾一下数据仓库的定义。数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。这个概念最早由数据仓库之父比尔·恩门（Bill Inmon）于1990年在《建立数据仓库》一书中提出，近年来却被愈发广泛的提及和应用，不信看下图：到底是什么，让一个从上世纪90年代提出的概念，在近几年确越来越热？带着这个问题，我们来了解一

数据仓库

大数据

标签设计

数据分层

数据中台

置顶原创 2019-12-13 15:51:15 2117 阅读

「数据治理那点事」系列之四 | 书同文车同轨：数据治理之数据标准管理

这篇文章主要从数据治理中的重要基础内容：数据标准入手，从以下几个角度展开具体讲解：对数据标准的认识误区数据标准的定义企业如何制定数据标准数据标准化过程中出现难题的原因以及解决方案一、大数据治理标准体系根据全国信息技术标准化技术委员会大数据标准工作组制定的大数据标准体系，大数据的标准体系框架共由七个类别的标准组成，分别为：基础标准、数据标准、技术标准、平台和工具标准、管理标准、安全和隐私标准、行业应

数据治理

原创 2019-10-11 16:55:03 587 阅读

一根飞线的故事-SVG篇

作者|数澜UED团队没有飞线的地图就像一个发际线上移的中年人一样平淡无奇。——By胖子每年春运和双十一的统计图都因为有飞线动效才更加吸引眼球，今天要为大家带来一根漂亮飞线要用什么姿势生成才能。SVG本篇是主讲SVG来绘制飞线的，所以强大的SVG必定能完成我们绘制飞线效果的各种需求。首先我先为各位介绍下完成这根线需要用到的一些小知识点。Path元素path元素是SVG基本形状中最强大的一个，它不仅能

数据可视化

SVG

原创 2019-09-19 11:17:22 648 阅读

地球如果流浪，大数据究竟能做什么？

每条大街小巷，每个人的嘴里，见面第一句话，就是：「道路千万条，安全第一条，行车不规范，亲人两行泪」。过了个春节，一眨眼的功夫，当初不太被人看好的《流浪地球》就悄然脱颖而出，蜕变成了「流量地球」？不得不说，这部电影从剧情、特效到配乐演员几乎都全部在线，口碑也一直蹭蹭蹭往上涨。但有那么一些细节，我看完总觉得非常不服气！比如：好好的杭州城，一个镜头都没出现，一群人冒着生命危险去救了半天，却突然说没就没了

大数据

数据应用

原创 2019-09-16 11:29:39 593 阅读

JS源码分析│简易mvvm库的设计实现

作者：刀哥（朱建）前言：mvvm模式即model-view-viewmodel模式简称,单项/双向数据绑定的实现，让前端开发者们从繁杂的dom事件中解脱出来，很方便的处理数据和ui之间的联动。本文将从vue的双向数据绑定入手,剖析mvvm库设计的核心代码与思路。1、需求整理与分析需求：数据一旦改变则更新数据对应的uiui改变则触发事件改变ui对应的数据分析：通过dom节点的指令获取刷新函数，用来刷

大数据

原创 2019-09-03 14:36:40 329 阅读

风剑分享 | 只有数据最懂公司的痛点，指导企业决策走向

只有数据最懂公司的痛点，指导企业决策走向在2018中国大数据高峰论坛上，数澜科技)CEO风剑分享了对数据资产化的理解、大数据平台的建设、大数据落地过程中的挑战，以及数据应用在未来的机遇与挑战。具体全文摘录如下：一、什么是数据资产化“数据资产化是数澜一直秉持的概念并持续在做的事情”。风剑曾经在负责阿里巴巴集团大数据业务的时候，见过很多应用场景。他觉得目前大多数的人对数据的认知并不够，也不能理解数据从

大数据

数据资产化

原创 2019-08-21 15:12:47 459 阅读

Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目

作者|白松目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变为Active状态，然后调用顶点的compute()方法。本文的目的就是统计每次迭代过程中，参与计算的顶点数

大数据

原创 2019-08-20 10:53:53 379 阅读

Giraph源码分析（七）—— 添加消息统计功能

Giraph源码分析（七）——添加消息统计功能作者|白松1、添加类，把每个超步发送的消息量大小写入Hadoop的Counter中。在org.apache.giraph.counters包下新建GiraphMessages类，来统计消息量。源代码如下：packageorg.apache.giraph.counters;importjava.util.Iterator;importjava.util.

大数据

h a d

原创 2019-08-19 16:54:30 585 阅读

史上最强攻略！手把手教你建「数据中台」！

「DT时代真的来了！今天，我国整个行业的模式已经发生了变化，从互联网+、智能到智慧，再到大数据和人工智能等技术在各应用场景中的作用发挥等等，这一切的发生均为企业发展注入了全新的活力。

大数据

数据中台

转载 2019-08-16 15:45:26 618 阅读

惊! 大屏还能长这样！

数据可视化最吸引人的地方在于，通过科学和艺术的完美结合，让隐藏在数据中可预测的和出人意料的故事都变得一目了然。一个优秀的数据可视化方案，应该同时具备精确度和精美度。精确度，即使用基本视觉元素的形状、尺寸、颜色和位置来呈现数据的多少和关联关系，让受众快速且正确地阅读数据中隐含的故事，是数据可视化的最基本要求。精美度，是在精确度的基础之上，为作品注入视觉审美元素，如图形尺寸对比的强弱力度，色彩在色相/

大数据

数据可视化

原创 2019-08-14 11:34:37 456 阅读

2分钟快速了解企业用户权限

不管是B端产品还是C端产品，权限基本都会出现。常见的比如说知乎、简书等内容类产品，你只有登录才能评论、点赞，不登录你只能浏览；再比如知识付费或视频类产品中，你只有付费了才能完整查看专栏里的内容，不付费你只能试看几分钟；再复杂一点的，就是企业级产品中，各部门，各岗位，不同用户能操作的权限都不尽相同。

用户权限

原创 2019-08-06 11:02:24 276 阅读

「数据治理那点事」系列之二：手握数据「户口本」，数据治理肯定稳！

这篇文章主要从数据治理的基础和核心之一：元数据入手，从以下几个角度展开具体讲解：元数据概念元数据的分布和采集元数据的一些实际应用场景一、元数据到底是个啥？如果我说：元数据（MetaData），就是描述数据的数据。没有技术背景加持的路人粉看到这句「绕口令」，内心可能会浮现这样的想法：简单点，其实元数据相当于数据的户口本。户口本是什么？它除了包含个人姓名、年龄、性别、×××号码等各种基本描述信息外，还

数据治理

原创 2019-07-31 11:07:54 293 阅读

Giraph源码分析（四）—— Master 如何检查Worker启动成功

本文的目的说明Giraph如何借助ZooKeeper来实现Master与Workers间的同步（不太确定）。环境在单机上（机器名：giraphx）启动了2个workers。Giraph遵从单Master多Workers结构，BSPServiceMaster使用MasterThread线程来进行全局的同步。每个Worker启动成功后，会向Master汇报自身的健康状况，那么Master是如何检测Wo

源码

数据开发

原创 2019-07-26 10:32:16 370 阅读

Giraph源码分析（三）—— 消息通信

由前文知道每个BSPServiceWorker有一个WorkerServer对象，WorkerServer对象里面又有ServerData对象，作为数据实。ServerData中包含该Worker的partitionStore、edgeStore、incomingMessageStore、currentMessageStore、聚集值等。其中incomingMessageStore对象为Messa

数据开发

原创 2019-07-25 14:39:26 482 阅读

“数据治理那点事”系列之一：那些年我们一起踩过的坑

大数据时代，数据成为社会和组织的宝贵资产，像工业时代的石油和电力一样驱动万物，然而如果石油的杂质太多，电流的电压不稳，数据的价值岂不是大打折扣，甚至根本不可用不敢用，因此，数据治理是大数据时代我们用好海量数据的必然选择。但大家都知道，数据治理是一项长期而繁杂的工作，可以说是大数据领域中的脏活累活，很多时候数据治理厂商做了很多工作，客户却认为没有看到什么成果。大部分数据治理咨询项目都能交上一份让客户

数据治理

数据开发

原创 2019-07-25 10:31:42 1144 阅读

大数据是啥，可以吃的吗？

作者|影姿关于大数据是什么，从一开始仅仅只想做数据，到开始意识到自己做的是对整个集团有核心意义的数据产品，再到走到外面，把数据能力对外输出，所有过程中，不断的有客户问到这个问题，有懵懂的、有善意的、也有挑衅的、不屑的。就像大数据本身一样，混乱又带有迷幻色彩。现在对大数据的理解有两种极端：站在大数据的风口，很多人觉得大数据是未来，可以解决所有问题，包括人工智能；我自己不用想，大数据已经替我想好决定好

大数据

原创 2019-07-23 11:13:04 573 阅读 1点赞

全新一代企业级大数据应用模式揭秘

数据仓库这个概念在二十多年前由Bill Inmon提出后，几乎所有的IT厂商都开始介入这个领域，为企业级数据仓库设计非常复杂的体系结构和数据模型，典型的企业级数据应用架构如下：

数据中台

数据仓库

转载 2019-07-23 10:18:56 285 阅读

Mock工具wiremock-py

wiremock-py 是基于 WireMock 实现的, 使用 Python 批量生成不同测试场景下不同HTTP API 的 mock 数据, 然后作为 mock server 快速全面地对 API 进行测试。

数据开发

原创 2019-07-23 10:10:40 984 阅读

Giraph源码分析（二）—启动Master/Worker服务

作者|白松注：本文为原创，引用转载需与数澜联系。1、org.apache.giraph.bsp.CentralizedService接口功能：BasicserviceinterfacesharedbybothCentralizedServiceMasterandCentralizedServiceWorker.2、org.apache.giraph.bsp.CentralizedServiceMa

数据开发

原创 2019-07-22 20:02:52 256 阅读

Giraph源码分析（一）— 启动ZooKeeper服务

作者|白松【注：本文为原创，引用转载需与博主联系。】Giraph介绍：ApacheGiraphisaniterativegraphprocessingsystembuiltforhighscalability.Forexample,itiscurrentlyusedatFacebooktoanalyzethesocialgraphformedbyusersandtheirconnections.G

数据开发

原创 2019-07-22 19:50:02 523 阅读

浅析HDFS架构和设计

作者|大尊hdfs是hadoop的分布式文件系统，即HadoopDistributedFilesystem。下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥HDFS的全貌，适合对HDFS有一点了解，但是对HDFS又感到困惑的初学者。本文主要参考的是hadoop3.0的官方文档。链接：http://hadoop.apache.org/docs/current/hadoop-pro

数据开发

原创 2019-07-22 19:44:05 563 阅读 1收藏

你的企业真的需要「数据中台」吗？

作者：铁叫兽一、如何理解数据中台在解决你是否需要数据中台这个问题之前，让我们先理理它究竟是什么。它是工具？是方法？还是组织架构？我的回答是：都不仅仅是。数据中台包括平台、工具、数据、组织、流程、规范等一切与企业数据资产如何用起来所相关的。企业所属行业不同，经营策略不同，从而数据场景也千差万别。再加上企业人员运用数据的能力参差不齐，这就导致了每一家企业的数据中台都是独一无二的，不是购买一个所谓的数据

数据中台

原创 2019-07-22 19:34:32 289 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯