大数据数据 Data数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，是可识别的、抽象的符号。图像、文本、符号、视频、声音都是数据。计算机中的数据：二进制表示，1Byte = 8bit。大数据 Big Data大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能
转载
2024-03-19 10:20:01
42阅读
定义：无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。特点：5v（1）Volume 大量：指的是数据体量巨大，从TB级别跃升到PB级别(1024TB)、EB级别(1024PB)，甚至于达到ZB级别(1024EB)。（2）Variety 多样：指的是数据类型繁多。 这种类型的多样性也让
原创
2023-11-10 23:23:13
177阅读
常见关键技术有MapReduce、HBase、HDFS等，其余的例如：Chukwa：数据收集系统，用于监控大型分布式系统。继承了Hadoop的可伸缩性和鲁棒性。
Flume：是Cloudera提供的一个高可用的，高可靠的，分布式的日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；能够对数据进行简单处理，并写到各种数据接受方(可定制) 。
Kafka：是一种高吞
原创
2023-11-11 21:45:19
129阅读
大数据生态之storm一.基本概念1.什么是storm？2.使用场景3.特点4.topology二.核心概念1.tuple：2.Stream：3.spouts：4.Bolts：5.Topology：6.Tasks：7.workers：8.Stream Grouping：三.组件1.Nimbus：2.supervisor：3.worker process：4.executor：5.task：6.z
转载
2024-03-07 12:54:47
32阅读
数据湖是数据仓库的补充，是为了解决数据仓库漫长的开发周期，高昂的开发，维护成本，细节数据丢失等问题出现的。数据湖大多是相对于传统的rdbms的数据仓库，而从2011年
原创
2021-07-05 17:29:27
510阅读
## MySQL 大数据迁移指南
在进行 MySQL 数据库的大规模数据迁移时，有几个步骤需要注意。下面将给出整个迁移的流程，并详细解释每一步需要做的工作和相应的代码示例。通过学习这个过程，你将能够高效地进行数据迁移。
### 迁移流程
首先，我们需要明确迁移的整个流程。以下是一张流程表：
| 步骤 | 描述 |
| ----
原创
2024-08-12 05:07:11
73阅读
一, HDFS概述1.1 HDFS的产生背景和定义随着数据量越来越大,我们需要把文件分布存储到多台计算机上,分布式文件管理系统作为一种管理多台机器上文件的系统应运而生, HDFS是其中的一种.HDFS定义:
Hadoop Distributed File System,通过目录树来定位文件分布式的. 很多服务器联合起来实现功能,集群中的服务器有各自的角色.使用场景: 适合一次写入,多次读取的
转载
2023-11-29 20:14:38
67阅读
一、对大数据的认识大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。主要解决的是对海量数据的存储以及海量数据的计算分析问题数据单位描述：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。大数据主要的特点：Vol
原创
2022-05-17 17:06:25
242阅读
一、对大数据的认识大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件
原创
2022-12-18 00:13:21
97阅读
别。这些类别本身也会被概括表示，比如通过类别
原创
2023-06-21 12:06:58
119阅读
原文： Wu X, Zhu X, Wu G Q, et al. Data mining with big data[J]. IEEE transactions on knowledge and data engineering, 2013, 26(1): 97-107. 使用大数据进行数据挖掘 Xi
原创
2021-07-09 14:19:17
1647阅读
“大数据时代”已经来临，并对各个领域都产生了深远的影响。在商业、经济及其他领域中，决策行为将日益基于数据和分析而作出，而并非基于经验和直觉；而在公共卫生、经济发展和经济预测等领域中，“大数据”的预见能力也已经崭露头角。
原创
2012-09-27 09:50:16
372阅读
一篇文章让你知道什么是大数据挖掘技术什么是大数据挖掘?数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘对象根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及Internet等。数据挖掘流程定义问题：
转载
2023-09-10 15:16:01
91阅读
就目前而言，大数据越来越受到大家的重视，大数据也逐渐成为各个行业研究的重点，我们在进行使用大数据的时候，需要去了解大数据中所用到的工具，如果我们了解了大数据工具，我们才能够更好的去使用大数据。在这篇文章中我们就给大家介绍一下关于大数据中的工具，希望能够帮助到大家。1.数据挖掘的工具在进行数据分析工作的时候，我们需要数据挖掘，而对于数据挖掘来说，由于数据挖掘在大数据行业中的重要地
转载
2023-07-10 21:40:34
88阅读
pandas是python的一个数据分析包，是基于Numpy构建的含有更高数据结构和工具的数据分析包。类似于Numpy的和性能是ndarry; pandas是围绕着Series和DataFrame两个核心数据结构展开的，Series和DataFrame分别对应于一维的序列和二维的表结构。一般pandas的导入约定俗成的方法如下：from pandas import Series,DataFrame
转载
2023-08-01 20:35:42
81阅读
Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。 Spark是hadoop的升级版本，
原创
2023-07-24 17:38:37
87阅读
Microsoft Azure和Amazon Web Services是现在主流的云服务供应商，双方都提供了大量的数据服务，那么双方的数据服务到底都有哪些呢？本文整理了一些关于Azure和AWS（截止2018年3月）的数据服务对比以及部分评论，但是文章不会做功能比较，因为这些系统的发展速度之快令人难以想象，如果有需要的话，大家可以去查看相关文档。RelationalAzure 产品: SQL Da
转载
2023-08-30 14:01:12
84阅读
文章目录
原创
2022-10-21 16:16:22
86阅读
Spark是hadoop的升级版本，Hadoop作为第一代产品使用HDFS，第二代加入了Cache来保存中间计算结果，并能适时主动推Map/Reduce任务，第三代就是Spark倡导的流Streaming。 Spark兼容Hadoop的APi，能够读写Hadoop的HDFS HBASE 顺序文件等。 传统Hadoop如下图 性能慢原因有：磁盘IO 复制和序列化等
转载
2023-04-25 23:23:40
84阅读
# 大数据组件管理：Docker For Data Platform
随着大数据技术的飞速发展，企业在处理和分析数据时对工具的依赖日益增加。而如何高效地管理这些工具、部署它们以及快速推出新功能，成为了一个亟待解决的问题。Docker，作为一种流行的容器技术，为大数据平台的构建提供了更为灵活和高效的解决方案。本文将探讨如何使用Docker管理大数据组件，并提供相关代码示例。
## 1. 什么是
原创
2024-10-26 03:39:05
50阅读
