数据猿的一亩三分地的博客_DAMA-DMBOK,Shell,数据仓库

数仓规范--SQL 易读的个人习惯

无论是数仓开发还是数据分析，写一手好的SQL是一项基本的技能。毋庸置疑，编写性能较好的SQL是非常重要的，但是，SQL的可读性同样是不容小觑的。一个有着混乱格式的SQL脚本，往往需要花费较长的时间去弄清楚脚本的具体逻辑。如果你曾经被祖传的毫无章法的SQL脚本狂虐过，你一定心有感触。本文将分享几个SQL格式的规范，当然仁者见仁智者见智，其实没有严格的标准，如果有，那就是保证易于阅读和易于维护。大小写

字段

sql

大小写

数据仓库

原创精选 2022-04-24 14:01:30 745 阅读 1收藏

数据仓库的分层

!image.png(https://s2.51cto.com/images/20220422/1650615280931328.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)数仓在

数据

数据仓库

数据集市

原创 2022-04-22 17:32:12 1066 阅读 yyds干货盘点

数仓建模--表分类

事实表事实表是用来度量的，基本上都以数量值表示，事实表中的每行对应一个度量，每行中的数据是一个特定级别的细节数据，称为粒度。维度建模的核心原则之一是同一事实表中的所有度量必须具有相同的粒度。这样能确保不会出现重复计算度量的问题。有时候往往不能确定该列数据是事实属性还是维度属性。记住最实用的事实就是数值类型和可加类事实。所以可以通过分析该列是否是一种包含多个值并作为计算的参与者的度量，这种情况下该列

数据

生命周期

建模

原创 2022-04-21 18:36:42 1350 阅读 yyds干货盘点

用户行为指标浅析

前言用户行为分析是对用户在产品或触点上产生的行为及行为背后的数据进行分析，通过构建用户行为数据分析体系或者用户画像，来改变产品、营销、运营决策，实现精细化运营，指导业务增长。总之，很重要。先来看下用户类行为指标说明，然后下面详解常写的指标。仅供参考，实际开发逻辑还是按业务需求为标准。指标名称解释说明:新增用户首次联网使用应用的用户，如果一个用户首次打开某APP，那这个用户定义为新增用户：卸载再安装

sql

唯一标识

业务需求

数仓

原创推荐 2022-04-19 16:28:49 2801 阅读 2点赞 1收藏 私藏项目实操分享

cut，awk，sed浅解

1.cutcut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。1.基本用法cut选项参数filename说明：默认分隔符是制表符2.选项参数说明表155选项参数功能f(fild)列号，提取第几列d分隔符，按照指定分隔符分割列（以要切割的文本中的分隔符来切割）b按照字节分割(可分割单个字符，也可分割多个字符：15【一

分隔符

sed

hadoop

Linux

原创 2022-04-19 12:07:47 556 阅读 yyds干货盘点

Flink 之部分常用命令

启动./startcluster.shrun./bin/flinkrunOPTIONS./bin/flinkrunmyarnclusterccom.wang.flink.WordCount/opt/app/WordCount.jarOPTIONS功能说明ddetached是否使用分离模式mjobmanager指定提交的jobmanageryat–yarnapplicationType设置yarn应

flink

zookeeper

命名空间

原创 2022-02-05 10:00:29 939 阅读

Redis 之部分常用命令

启动类key命令功能说明keys查看当前库的所有键exists<key判断某个键是否存在type<key查看键的类型del<key删除某个键expire<key<seconds为键值设置过期时间，单位秒ttl<key查看还有多久过期,1表示永不过期,2表示已过期dbsize查看当前数据库中key的数量flushdb清空当前库Flushall通杀全部库String命令功能说明get<key查询对应键

键值

自定义

赋值

原创 2022-02-05 09:59:20 338 阅读

Hive之常用命令与函数

启动类功能说明命令启动hiveserver2服务bin/hiveserver2启动beelinebin/beeline连接hiveserver2beeline!connectjdbc:hive2://hadoop102:10000metastroe服务bin/hiveservicemetastorehive启动元数据服务（metastore和hiveserver2）和优雅关闭脚本启动：hive.s

hive

数据

unix

原创精选 2022-02-05 09:57:53 1409 阅读

Zookeeper之部分常用命令

启动命令功能说明命令脚本启动zookeeper服务zkServer.shstart查看zookeeper状态zkServer.shstatus停止zookeeper服务zkServer.shstop启动zookeeper客户端zkCli.shserver127.0.0.1:2181退出zookeeper客户端quit基本操作功能说明命令脚本当前znode中所包含的内容ls/创建普通节点(前面是节点

zookeeper

flink

客户端

原创 2022-02-05 09:51:55 616 阅读

Hadoop之部分常用命令

功能说明命令创建目录hdfsdfsmkdirp/data/flink显示目录hdfsdfsls/从HDFS拷贝到本地hdfsdfscopyToLocal/data/data.txt./文件上传到集群(从本地)hhdfsdfscopyFromLocaldata.txt/文件下载hdfsdfsget/data/flink删除集群的文件hdfsdfsrm/data/flink删除文件夹hdfsdfsrm

hdfs

flink

修改文件

原创 2022-02-05 09:50:13 320 阅读

Linux之常用命令

vim一般模式语法功能描述yy复制光标当前一行y数字y复制一段（从第几行到第几行）p箭头移动到目的行粘贴u撤销上一步dd删除光标当前行d数字d删除光标（含）后多少行x删除一个字母，相当于delX删除一个字母，相当于Backspaceyw复制一个词dw删除一个词shift+^移动到行头shift+移动到行尾1+shift+g移动到页头，数字shift+g移动到页尾数字N+shift+g移动到目标行编

指定目录

zip压缩

解压缩

vim

原创 2022-02-05 09:44:55 379 阅读

SSH 保持客户端与服务器连接不断开

使用ssh连接服务器，一段时间不使用，连接会自动断开，然后控制台就会卡死，如何解决这一问题呢？方案一服务器主动保持连接登录ssh服务器vim/etc/ssh/sshd_config添加如下两句ClientAliveInterval120ClientAliveCountMax720重启sshd服务systemctlrestartsshd+第一句意思是服务端每间隔120s会向客户端发送一个空数据包+第

服务器

客户端

服务端

vim

shell

原创 2021-11-03 19:13:01 1654 阅读

DAMA-DMBOK 2 第十七章总结--数据管理和组织变革管理

一.变革法则1.组织不变革，人就变2.人们不会抗拒变革，但抵制被改变。3.事情之所以存在是惯性所致。4.除非有人推动变革，否则很可能止步不前。5.如果不考虑人的因素，变革将很容易。二.并非管理变革，而是管理转型过程1.变革经历的三个阶段1.结束阶段2.相持阶段3.新的开始阶段2.变革者的首要任务是理解目标（愿景），终极目标是说服人们踏上变革之旅三.科特的变革管理的八大误区1.过于自满1.高估了自己

信息管理

DAMA

CDMP

数据治理

DMBOK

原创 2021-11-03 01:06:44 947 阅读 17点赞 1收藏 1评论

DAMA-DMBOK 2 第十六章总结--数据管理组织与角色期望

一.引言1.责，权，利分配2.不要苛求完美二.数据管理组织的结构1.分散运营模式1.概念：，数据管理职能分布在不同的业务部门和I部门（图162)。委员会是互相协作的基础，委员会不属于任何一个单独的部门。许多数据管理规划从基层开始，意图统一整个组织的数据管理实践．因而具有分散的结构。2.优点：组织结构相对扁平，数据管理组织与业务线或IT部门具有一致性。这种一致性通常意味着对数据要有清晰的理解，相对容

数据管理

数据质量

DAMA

数据治理

CDMP

原创 2021-11-02 12:13:23 1271 阅读 24点赞 1收藏 2评论

DAMA-DMBOK 2 第十五章总结--数据管理成熟度评估

一.引言1.业务驱动因素：组织进行能力成熟度评估的原因1）监管。监管对数据管理提出了最低成熟度水平要求。2）数据治理。出于规划与合规性目的，数据治理需要进行成熟度评估。3）过程改进的组织就绪。组织认识到要改进其实践过程应从评估其当前状态开始。例如，它承诺管理主数据，并需要评估其部署主数据管理流程和工具的准备情况。4)组织变更。组织变更（如合并）会带来数据管理挑战。DMMA为应对这些挑战制订了规划。

成熟度

数据

DAMA

数据治理

dmbok

原创 2021-11-01 17:11:07 2530 阅读

DAMA-DMBOK 2 第十四章总结--大数据与数据科学

一、概述1.定义对多种不同类型的数据进行收集（大数据）和分析（数据科学、分析、可视化），以此来为在分析的初始阶段未知的问题找到答案2.业务驱动1.期望抓住从多种流程生成的数据集中发现的商机，是提升一个组织大数据和数据科学能力的最大业务驱动力2.可以通过对更多、更大的数据集进行探索来激发创新，这些数据可用来定义预判客户需求的预测模型，并实现产品和服务的个性化展示3.数据科学可以提升运营水平4.机器学

建模

DAMA

数据治理

CDMP

dmbok

原创 2021-11-01 02:07:20 824 阅读 7点赞 1收藏

DAMA-DMBOK 2 第十三章总结--数据质量

一.数据质量概述1.业务定义：为确保满足数据消费者的需求，应用数据管理技术进行规划，实施和控制等管理活动。1.导致低质量数据产生的因素包括：组织缺乏对低质量数据影响的理解、缺乏规划、孤岛式系统设计、不一致的开发过程、不完整的文档、缺乏标准或缺乏治理等。2.所有数据管理的原则都应有助于提高数据质量，支持组织使用高质量数据应是所有数据管理原则的目标2.业务驱动因素1）提高组织数据价值和数据利用的机会。

数据管理

元数据

DAMA

数据治理

CDMP

原创 2021-10-31 15:02:45 2888 阅读

DAMA-DMBOK 2 第十二章总结--元数据管理

一.定义关于数据的数据。不仅包括技术和业务流程、数据规则和约束，还包括逻辑数据结构与物理数据结构等。它描述了数据本身如数据库、数据元素、数据模型，数据表示的概念如业务流程、应用系统、软件代码、技术基础设施，以及数据与概念之间的联系。二.用处1.管理和使用数据（资产）越完善的元数据，越有利挖掘数据中的价值2.风险管玾敏感数据标签，让使用者注意隐私保护和数据安全3.没有元数据，组织就不能将其数据作为资

数据架构

DAMA

数据治理

数据管理

dmbok

原创 2021-10-29 22:34:18 2834 阅读

DAMA-DMBOK 2 第十一章总结--数据仓库和商务智能

一.引言1.数据仓库技术将组织中不同来源的数据整合到公共的数据模型中去。整合后的数据能为业务运营提供洞察，为决策支持和创造价值开辟新的可能性。2.企业数据仓库，提供了一种减少数据冗余、提高信息一致性，让企业能够利用数据做出更优决策的方法。3.相关技术起源于上世纪90年代，数据仓库被认为是数据管理的核心，虽然有悠久的历史，但是技术仍然在不断发展，新的概念不断涌现。二.业务驱动因素1.运营支持2.合规

DAMA

CDMP 认证

数据治理

数据管理

dmbok

原创 2021-10-28 22:10:46 1811 阅读

DAMA-DMBOK 2 第十章总结--参考数据和主数据

一.引言1.在任何组织中，都存在一些需要跨业务领域、跨流程和跨系统使用的数据。这些数据称为主数据和参考数据。2.如果这些数据实现了共享，所有的业务部门就都可以访问相同的客户清单，地理位置代码、业务部门清单、交付选项、部件清单、成本核算中心代码、政府税收代码以及用于运营业务的其他数据，那么整个组织及其客户都会从中受益。二.业务的驱动因素1.主数据管理1.满足组织数据需求2.管理数据质量3.管理数据集

DAMA

CDMP 认证

数据治理

数据管理

dmbok

原创 2021-10-28 22:06:16 1774 阅读 1收藏

DAMA-DMBOK 2 第九章总结--文件和内容管理

一.引言1.定义1.文档和内容管理指的是针对存储在关系型数据库之外的数据和信息的采集、存储，访问和使用过程的管理。2.文档和内容管理的重点在于保持文件和其他非结构化或半结构化信息的完整性，并使这些信息能够被访问。2.业务驱动因素1.法律法规要求组织保留某些活动的档案2.查找可能作为法律诉讼证据的电子档案的过程3.组织应对诉讼请求电子取证的能力4.提高效率是改进文件管理的驱动力3.目标1.履行与档案

数据治理

数据管理

DAMA

dmbok

CDMP 认证

原创 2021-10-28 21:35:05 5930 阅读 1点赞

DAMA-DMBOK 2 第八章总结--数据集成和互操作(DII)

一、引言1.定义1.数据集成和互操作描述了数据在存储，应用程序或组织内部（或之间）的数据移动和整合活动。2.数据集成是将数据整合成物理的或虚拟的一致格式，数据互操作是多个系统之间进行通信的能力2.基本数据管理职能1.数据迁移和转换2.数据整合到数据中心或数据集市3.将供应商软件包集成到组织应用系统框架中4.在应用程序与组织之间数据共享5.跨数据存储库和数据中心分发数据6.数据归档7.数据接囗管理8

DAMA

CDMP

数据治理

数据管理

dmbok

原创 2021-10-28 21:28:22 1234 阅读

DAMA-DMBOK 2 第七章总结--数据安全

一.引言1.定义定义、规划、开发、执行安全策略和和规程，以提供对数据和信息资产的适当验证、授权、访问、审计2.数据安全的要求来源利益相关方政府监管特定业务关注点合法访问需求合同义务3.业务驱动因素数据安全风险数据安全风险与法规遵从性、企业和股东的信托责任、声誉以及保护员工，业务合作伙伴和客户的隐私和敏感信息的)法律和道德责任有关。业务增长需求业务增长包括实现并维持运营业务目标。数据安全问题、违规以

DAMA

DMBOK

数据治理

数据管理

大数据

原创 2021-10-28 21:06:03 1278 阅读 18点赞 2收藏 2评论

DAMA-DMBOK 2 第六章总结--数据存储与操作

一、引言1.定义管理数据存储的设计、实现和支持活动，以实现其最大化价值，贯穿于数据创建，获取到处置的整个生命周期2.子活动1.数据库操作支持数据库操作支持：数据库操作支持主要关注与数据生命周期相关的活动，即从数据库环境的初始搭建，到数据的获取、备份再到处置数据。同时，它还包括需要确保数据库性能状态良好。监控和优化数据库性能对数据库支持是非常重要的。2.数据库技术支持数据库技术支持：数据库技术支持包

DAMA

CDMP

数据治理

数据管理

认证

原创精选 2021-10-28 20:53:26 2899 阅读 25点赞 1收藏 2评论

DAMA-DMBOK 2 第五章总结--数据建模和设计(DMD)

一.什么是数据建模发现、分析和确定数据需求的过程，然后用一种称为数据模型的精确形式表示和传递这些数据需求二.业务驱动因素建模的重要性1.提供有关数据的通用词汇表2.获取，记录组织内数据和系统的详细信息3.在项目中作为主要的交流沟通工具4.提供了应用制定，整合，甚至替换的起点三.目标和原则1.数据建模的目标1.数据建模的目标是确认和记录不同视角对数据需求的理解，从而使应用程序与当前和未来的业务需求更

数据

数据模型

数据建模

建模

数据库

原创 2021-10-27 20:14:12 2288 阅读 1收藏

DAMA-DMBOK 2 第四章总结--数据架构

一.引言1.架构定义系统的基本结构，具体体现在架构构成中的组件，组件之间的相互关系，以及管理其设计和演变的原则ISO标准2.架构和数据架构的作用1.类型业务架构，数据架构，应用架构，技术架构等。（BDAT&BIAT）2.良好的企业架构管理有助于组织了解系统的当前状态，加速向期待状态的转变，实现遵守规范，提高效率的目标3.数据架构的主要目标是有效地管理数据，即有效地管理存储和使用数据的系统。数据架构

DAMA

数据治理

数据管理

CDMP 认证

dmbok

原创 2021-10-27 20:08:24 2761 阅读

DAMA-DMBOK 2 第三章总结--数据治理

一.引言1.定义1.数据治理(DataGovernance，DG)在管理数据资产过程中（包括计划，监控，和实施活动）行使权利和执行管控的集合2.建立起正式的数据治理规程，有意向性地行使权力和管控的组织，能够更好地增加从资产获得的收益3.职能是指导有其他数据管理领域的活动4.目的是确保根据数据管理制度和最佳实践正确地管理数据5.整体驱动力是确保从数据中获得价值6.聚焦如何制定有关数据的決策，以及人员

数据治理

DAMA

DMBOK

CDMP

数据管理

原创精选 2021-10-26 23:52:32 3102 阅读 2点赞 1收藏

DAMA-DMBOK 2 第二章总结--数据处理伦理

一、引言1.定义如何以符合道德准则及社会责任的方式去获取、存储、管理、解释、分析、应用和销毁数据2.数据伦理1.伦理是建立在是非观念上的行为准则2.伦理准则通常侧重于公平，尊重，责任，诚信，质量，可靠性，透明度和信任等方面3.基于伦理准则去处理数据对于任何希望从数据中持续获取价值的组织都是必要的4.违反数据处理伦理准则会导致组织声誉的损失及失去客户3.核心概念1.对人的影响由于数据代表个人的特征，

CDMP

数据治理

数据管理

DAMA

DMBOK

原创 2021-10-26 23:38:57 2022 阅读 1点赞

DAMA-DMBOK 2 第一章总结--数据管理

引言：1.应由业务和信息技术人员共同担任数据管理责任2.组织可能没从数据中获取价值，但没有数据绝对无法开展业务业务驱动因素+信息与知识是竞争优势的关键+拥有高质量数据的组织能做出更好的决策+数据管理的主要驱动力是使组织可以从其数据资产中获取价值数据管理的目标包括+理解并支撑企业及其利益相关方的信息需求得到满足+获取，存儲，保护数据和确保数据资产的完整性+确保数据和信息的质量+确保利益相关方的数据隐

DAMA

dmbok

DMBOK

CDMP

CDGA

原创 2021-09-29 02:26:38 2089 阅读 1点赞 1收藏

Shell指令之 rsync

rsync的用法简介remotesync（远程同步）文件同步工具，它可以在本地计算机与远程计算机之间，或者两个本地目录之间同步文件（但不支持两台远程计算机之间的同步）。它也可以当作文件复制工具，替代cp和mv命令。rsync的最大特点是会检查发送方和接收方已有的文件，仅传输有变动的部分（默认规则是文件大小或修改时间有变动）。安装DebiansudoaptgetinstallrsyncRedHats

shell

大数据

脚本

增量同步

笔记

原创 2021-09-14 18:27:11 991 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

数据猿的博客

数仓规范--SQL 易读的个人习惯

数据仓库的分层

数仓建模--表分类

用户行为指标浅析

cut，awk，sed浅解

Flink 之部分常用命令

Redis 之部分常用命令

Hive之常用命令与函数

Zookeeper之部分常用命令

Hadoop之部分常用命令

Linux之常用命令

SSH 保持客户端与服务器连接不断开

DAMA-DMBOK 2 第十七章总结--数据管理和组织变革管理

DAMA-DMBOK 2 第十六章总结--数据管理组织与角色期望

DAMA-DMBOK 2 第十五章总结--数据管理成熟度评估

DAMA-DMBOK 2 第十四章总结--大数据与数据科学

DAMA-DMBOK 2 第十三章总结--数据质量

DAMA-DMBOK 2 第十二章总结--元数据管理

DAMA-DMBOK 2 第十一章总结--数据仓库和商务智能

DAMA-DMBOK 2 第十章总结--参考数据和主数据

DAMA-DMBOK 2 第九章总结--文件和内容管理

DAMA-DMBOK 2 第八章总结--数据集成和互操作(DII)

DAMA-DMBOK 2 第七章总结--数据安全

DAMA-DMBOK 2 第六章总结--数据存储与操作

DAMA-DMBOK 2 第五章总结--数据建模和设计(DMD)

DAMA-DMBOK 2 第四章总结--数据架构

DAMA-DMBOK 2 第三章总结--数据治理

DAMA-DMBOK 2 第二章总结--数据处理伦理

DAMA-DMBOK 2 第一章总结--数据管理

Shell指令之 rsync