文章目录主数据管理元数据管理数据标准数据质量管理数据安全管理数据计算管理数据存储管理 什么是数据治理,数据治理包含哪些方面？大数据时代的到来，给了我们很多的机遇，也有很多的挑战。最基础的调整也是大数据的计算和管理，数据治理是一个特别重要的大数据基础，他保证着数据能否被最好的应用，保证着数据的安全，治理等。那么数据治理到底能治什么，怎么治？ 数据治理主要包含七个方面。主数据管理即数据本身的管理，
转载
2023-08-28 17:15:01
168阅读
数据分为结构化数据（如人员信息、项目信息）和非结构化数据（如图片，文档），传统上讲，我们采用数据库来存结构化数据，如MySQL Oracle SQLServer，用NFS来存非结构化数据。大数据，意味着数据多，如果记录数达到了上亿，一般数据库可能也就拖不动了。如果存储文件数达到几个T，甚至更多。那么NFS硬件又如何布局呢？有时可能一台机器上的硬盘插满都不够。 有人说，不是可以用群集么，群集可以解决
转载
2023-11-30 12:57:20
62阅读
大数据平台是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。 大数据平台的功能： 1、容纳海量数据 利用计算机群集的存储和计算能力。不仅在性能上有所扩展，而且其处理传入的大量数据流的能力也相应提高。 2、速度快&
转载
2023-11-24 09:11:08
113阅读
1数据管理技术的回顾 数据管理技术主要经历了人工管理阶段、文件系统阶段和数据库系统阶段。随着数据应用领域的不断扩展，数据管理所处的环境也越来越复杂，目前广泛流行的数据库技术开始暴露出许多弱点，面临着许多新的挑战。 1.1 人工管理阶段 20 世纪 50 年代中期，计算机主要用于科学计
转载
2023-11-20 11:18:47
95阅读
近年来，互联网金融的浪潮给传统金融行业带来了挑战，
转载
2020-12-31 20:27:59
347阅读
大数据概述大数据(big data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理大数据四个本质特征大量化（volume），快速化（velocity），多样化（variety），价值化（value）；四个VVolume—数量大：数据每两年就增长一倍（大数据摩
转载
2024-01-20 09:24:11
77阅读
猛犸大数据平台经过去年一年的快速发展，已成为公司内多个产品的大数据开发工具的首选，作为一个当初定位为开发门户的这样一个平台网站，以调度管理为核心，将公司内已有的大数据工具进行了整合，提供了可视化的操作界面、统一的用户权限管理机制。洞悉原油开发流程的用户可以在猛犸上找到很熟悉的感觉，DS接入，MR任务的上传与调度控制，HIVE的查询等等。随着用户不断反馈，猛犸也在不断的进化，越来越多的组
越来越火的大数据时代，人工智能开创的时代，如何管理大数据集群成为一个非常重要的问题，现今通用的大数据平台大致的架构我简单说一下，希望对大家有帮助。大数据集群架构大概分为3层1、管理层（也就是所谓的manager界面），这一层主要是对集群服务的管理（比如说hdfs、yarn、hive、spark、hbase、solr、hue、oozie、zookeeper等），在这一层，可以对服务进行配置，节点管理
转载
2023-07-12 12:35:59
158阅读
这篇文章发表于InfoQ，比较通俗的介绍了一下大数据（Big Data）这个当下十分热门的话题。本月的《程序员》杂志也谈了很多这个话题的东东。
【参考】
深度剖析SOC高性能实时事件关联分析引擎
Forbes：大数据处理需要需要一个全新的大架构
直面海量处理+实时分析的双重挑战
转载
2011-10-26 13:02:05
876阅读
数据库管理主要学习的内容：1、备份和还原MongoDB系统2、使用MongoDB shell执行常见的任务3、使用身份验证控制服务器的访问权限4、监控数据库1）备份MongoDB服务器：需要满足的假设构想：MongoDB服务器运行在目前登录的机器上；硬盘空间足以容纳转储文件，该文件的大小至多与数据库相同；备份文件将保存在个人主目录中。MongoDB的备份工具被称为mongodump。例子
转载
2023-08-21 17:35:13
69阅读
因为MongoDB是一个非关系数据库系统，所以许多关系数据库管理员需要执行的操作，MongoDB并不需要执行。例如，不需要在MongoDB服务器上创建数据库、集合或字段，因为在访问它们时动态创建这些元素。不需要预定义所有元素，例如文档中的字段。管理员和开发者只需要偶尔从数据库中清除未使用的数据元素即可，尤其是在项目的开发阶段，开发者在最后确定解决方案之前可能尝试多种方案。MongoDB也鼓励了这种
转载
2023-06-22 17:16:43
264阅读
一、金融行业的大数据需求金融行业的数据场景通常涉及海量交易记录、复杂的风控模型和多源异构数据分析。GBase8C 云原生数据库以其分布式架构和弹性扩展能力，为金融行业的大数据管理提供了理想的
Hadoop 起源于Google Lab开发的Google File System （GFS）存储系统和MapReduce数据处理框架。2008年，Hadoop成了Apache上的顶级项目，发展到今天，Hadoop已经成了主流的大数据处理平台，与Spark、HBase、Hive、Zookeeper等项目一同构成了大数据分析和处理的生态系统。Hadoop是一个由超过60个子系统构成的系统集合。实际使
原创
2022-08-10 11:36:29
273阅读
建设大数据管理中台，按照统一的数据规范和标准体系，构建统一数据采集-治理-共享标准、统一技术开发体系、统一接口API，实现数据采集、平台治理，业务应用三层解耦，并按照统一标准格式提供高效的数据支撑服务，保证上层业务应用系统能够更加专注于业务流与数据流的梳理和重构，从而释放数据压力，节约系统开发周期，提升系统建设效率，满足企业、政府数据精细治理、分类组织、精准服务、安全可控的数据资源体系管理目标。
原创
2024-05-03 19:15:47
61阅读
# 基于Hadoop的大数据管理
## 1. 引言
随着互联网和物联网的快速发展，大数据的概念也逐渐被提出并广泛应用于各个领域。大数据的管理和分析对于企业和组织来说变得越来越重要。本文将介绍基于Hadoop的大数据管理，包括Hadoop的概念、Hadoop的核心组件和使用示例。
## 2. Hadoop概述
Hadoop是一个开源的分布式计算框架，主要用于存储和处理大规模的数据集。它基于Goo
原创
2023-12-03 08:22:47
66阅读
2018年11月30日，为期两天的数据中心联盟第七批大数据产品评测结果评审会圆满结束。本期测评，百度4款大数据产品：时序数据库TSDB数据仓库Palo（现已更名Doris，Apache孵化中）数据科学与机器学习平台Jarvis分布式事务数据库TafDB全部顺利完成测评，获得权威认证。其中，时序数据库TSDB、分布式事务数据库TafDB均是全国首批参与相关标准测评并通过的产品。作为大数据领域重要的行
背景：公司做数据仓库时，管理自己多张表时，需要使用元数据管理系统进行管理。更多java、大数据学习面试资料，请扫码关注我的公众号：
原创
2022-01-10 15:20:17
759阅读
随着企业数据量以每年50%以上的速度增长（Gartner数据），异构数据源（数据库、数据湖、数据仓库、API接口等）的复杂度呈指数级上升。数据资产难以盘点：业务人员无法快速定位所需数据数据血缘不清晰：影响数据变更影响分析和故障排查数据质量失控：缺乏统一的质量评估体系合规风险：敏感数据泄露、数据使用权限混乱本文覆盖从元数据
使用docker的时候，往往需要查看容器内的数据，或者将容器内的数据进行备份。 数据的管理方式主要有两种：数据卷数据卷容器一、数据卷数据卷主要是用来在容器之间进行共享和重用的。1.挂载一个主机目录作为数据卷。docker run -d -P --name web --privileged=true -v /docker/webapps:/opt/webapps centos 参数解释：-P 保留所
转载
2023-06-14 19:28:59
65阅读
这篇文章很好，值得收藏。正文：Unity 数据管理 开发环境Window7Unity3D 3.5.0MB525defy Android 2.2.1本次学习：1. 简介物件组成2. AssetBundle3. 打包和读取 1.简介物件组成 这是羽化做的一个粗略图，其中各个组成部分除了工程以外都能通过Asset
