只是把随时随地所思所想赶快记录下来，没有别的用意和价值一、大数据有哪些我们过去常用的数据存储是关系型数据库，因而也诞生了三大关系型数据库巨头：MSSQL、Oracle、MySQL。至于DB2、informix、Sybase另外说。大数据是从NoSQL兴起的。NoSQL最火的就是：Redis（KV型数据结构数据库，擅长存储一个ID对应一个信息，如订单ID对应订单详情）MongoDB（集合型数据结构数
转载
2024-01-14 21:24:02
98阅读
传统数据分析师仅仅依靠一个Excel就可以完成大部分数据分析的相关工作。而在大数据时代，随着数据的数量技术不断增大、数据类型不断多样化、数据结构不断复杂化。数据分析师则需要深入学习更多的工具了。一、数据处理工具Excel刚刚提到Excel是数据分析师常用的工具。从传统的数据分析师过度到互联网大数据分析，Excel的作用一直非常重要。当然在部分公司可能在最初数据处理的过程中还会用到Visio、Xmi
转载
2023-08-21 20:37:08
3阅读
通常数据库分为关系型数据库和非关系型数据库，关系型数据库的优势到现在也是无可替代的，比如MySQL、Oracle、SQL Server、DB2、SyBase、Informix、PostgreSQL以及比较小型的Access等等数据库，这些数据库支持复杂的SQL操作和事务机制，适合小量数据读写场景；但是到了大数据时代，人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。大数据时代初期，随
转载
2024-06-07 17:54:29
56阅读
说起大数据生态，不得不提大数据生态系统图，而大数据行业却不断的发生着巨变，目前的这张图应该还算比较新了。
创业者们蜂拥至这个行业，这个行业正变得越来越拥挤。Hadoop似乎已经奠定了其作为整个大数据生态系统的关键部分，Spark是另一个基于内存计算的开源分布式计算框架，它试图填补Hadoop的弱项，提供更快的数据分析和良好的编程接口。 分析工具领域变得异常活
转载
2023-07-22 14:08:41
116阅读
题目貌似取得有些大，准确的说应该叫基于大数据的机器学习，不过就这样吧>_< 每当说到大数据分析，有些人就很讳莫如深，故意讲得很复杂，生怕别人听懂就low了。然而其实可能没那么复杂，就像陈皓说的——所谓大数据不就是因为硬盘便宜了，所以不用删日志了吗? <_< 好了，废话不多说，这次实现的目标很简单，就是通过已知数据，通过某人的姓名分析出他的
转载
2024-06-08 09:10:39
40阅读
大数据工程师进行数据分析 大数据类型一定要知道【导语】大数据工程师进行数据分析的时候，会遇到各种类型的数据，不同类型数据对于企业有着不同的意义，所以需要了解清楚不同数据的意义，才能更准确的进行大数据分析，那么大数据类型有哪些?分别有着什么意义呢?下面就来具体看看吧。1.交易数据大数据平台能够获取时间跨度更大、更海量的结构化买卖数据，这样就能够对更广泛的买卖数据类型进行剖析，不仅仅包含POS或电子商
转载
2023-11-30 13:23:52
37阅读
DBA观点分享:大数据对传统数据库的影响，
大数据趋势在2012年开始变得明显，Hadoop、NoSQL等技术的兴起，令传统数据库稳固的江山开始动摇。“以不变应万变”不再是大数据时代应有的策略，老牌数据库厂商在保持传统市场领先的基础上，不断拓展新市场。
近日，ITPUB论坛以《大数据时代下传统数据库的改变有哪些?http://www.itpub.net/thread-1791263-1
转载
2024-09-01 17:07:30
25阅读
大数据数据仓库是基于HIVE构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过Flume、Sqoop、Kettle等etl工具导入到HDFS，并映射到HIVE的数据仓库表中。2、事实表是数据仓库结构中的中央表，它包含联系事实与维度表的数字度量值和键。事实数据表包含描述业务（
转载
2023-07-07 15:15:33
157阅读
今天让我们来看看大数据 根据维基百科，大数据是一个广义的术语，所包含的的内容十分庞大且复杂，以至于传统的数据处理应用程序根本不足以应对。 在许多情况下，使用SQL数据库用于存储/检索数据已经足够了。但在一些其他情况下，例如数据库规模不够，或是还有更好的工具，这一切都取决于使用情况。 现在让我们来讨论一下不同的存储/处理数据所用的非SQL工具——NoSQL数据库、内存缓
转载
2023-07-06 23:10:32
55阅读
某乎回答如下：企业用什么样的数据库存储大数据，关键要看这些数据的结构和应用场景，具体问题具体分析，最终找到与之匹配的数据库。 SQL/NoSQL/NewSQL数据库数据量—实时性分布图回答这个问题，我想从目前常见的SQL、NoSQL和NewSQL，这三大类数据库说起。众所周知，SQL（或称OldSQL）数据库就是传统关系型数据库（RDBMS），它们的特点是“标准统一”：使用统一的SQL语
转载
2023-11-05 22:49:07
5阅读
文章目录Hbase数据库介绍特点表结构逻辑视图RowKey列簇时间戳cellHbase集群架构 Hbase数据库介绍HBase 是基于 Apache Hadoop 的面向列的 NoSQL 数据库，是 Google 的 BigTable 的开源实现。HBase 是一个针对半结构化数据的开源的、多版本的、可伸缩的、高可靠的、高性能的、分布式的和面向列的动态模式数据库。HBase 和传统关系数据库不同
转载
2023-08-16 17:24:22
71阅读
相当一部分大数据分析处理的原始数据来自关系型数据库，处理结果也存放在关系型数据库中。原因在于超过99%的软件系统采用传统的关系型数据库，大家对它们很熟悉，用起来得心应手。
在我们正式的大数据团队，数仓（数据仓库Hive+HBase）的数据收集同样来自Oracle或MySql，处理后的统计结果和明细，尽管保存在Hive中，但也会定时推送到Oracle/MySql，
转载
2024-06-19 17:58:25
40阅读
在大数据处理当中，数据库无疑是提供关键性支持的技术之一，面对不断新增的海量数据，更加需要数据库提供稳定的底层支持，才能支持数据处理其他环节的工作。今天我们来做一个简单的大数据与数据库技术介绍。 谈到大数据，可能很多人首先想到的就是Hadoop，不得不承认，Hadoop在大数据处理的诸多技术框架当中，占据着非常重要的地位，堪称大数据技术领域的“老大哥”。而数据库技术，似乎不常被提起，但是同样不该被忽
转载
2024-03-26 15:38:56
100阅读
数据库的发展是伴随着计算机体系架构的发展而不断演进的，从主机，到个人电脑 + 网络(x86)，到现在的云服务，数据库也经历了一系列的演化历程。 a. 主机时代 最初的计算机和数据库只是在航空航天、军事领域使用，只需要支持专业的数据分析人员进行数据分析。到了上世纪 70 年代末，伴随着计算机进入更多商业场景，大量数据分析的需求产生了，数据库则需要面对更为普遍的用户需求。在 I
转载
2024-06-08 22:14:51
52阅读
# Java 大数据数据库实现指南
作为一名刚入行的小白，学习如何使用Java进行大数据数据库的开发，可能会觉得有些困难。不过，没关系！本文将为你详细介绍整个实现流程，并提供必要的代码示例，让你能够逐步上手。
## 整体流程
实现大数据数据库的流程可以概括为以下几个步骤：
| 步骤 | 描述
原创
2024-10-11 05:15:56
20阅读
数据库知识作为面试必考题，在面试的过程中占比很好，尤其是后端开发，一定要精通，尤其是索引和事务，每个专业的面试官都会问，一定不能只停留在增删查改上。1、数据库三范式第一范式：要求每列都是最小的数据单元，不可分割。比如学生表（学号、姓名、性别、出生年月），出生年月还可以分为（出生年、出生月、出生日），那么它就不符合第一范式了。第二范式：在第一范式的基础上，要求每列都和主键相关。比如学生表（学号、姓名
转载
2024-06-17 15:33:21
71阅读
首先声明：数据库的大数据处理一般不在实际操作中应用，这是为了避免数据库被占用，而导致资源不能被访问，还有内存分配等方面出现。基本概念：大数据也称之为LOB(Large Objects)，LOB又分为：clob和blobclob用于存储大文本。Textblob用于存储二进制数据，例如图像、声音、二进制文等。对MySQL而言只有blob，而没有clob，mysql存储大文本采用的
转载
2023-11-15 21:51:16
45阅读
大数据简介: 大数据（Big Data）指的是规模巨大、复杂多变的数据集合。这些数据集合一般具有以下特点： 1、高容量：数据集合通常包含海量数据，可以是数TB或PB的级别。 2、高速度：数据集合的更新和处理速度非常快，要求系统能够在实时或近实时的时间内处理数据。 3、多样性：数据集合中包含多种类型的数据，如文本、图像、视频、音频等，这些数据可能是结构化的、半结构化的或非结构化的。 4、高价值：数据
转载
2023-11-10 11:01:31
74阅读
存储过程如同一门程序设计语言，同样包含了数据类型、流程控制、输入和输出和它自己的函数库。存储过程作用：(1) 存储过程通过参数传递,安全性高,可防止注入式攻击.(2) 查询的语句在存储过程里,与程序不相关,如果以后要修改程序或者数据库,都不会出现连锁反应,增加系统可扩展性.(3) 网站执行查询的时候,只需要传递简单的参数就可以了,无论是代码优化上还是查询优化上都可以做到高效.(4) 允许模块化编程
转载
2024-08-27 13:08:12
70阅读
中大型数据库指的是数据库比较大，数据变化量比较大。对应中大型数据库来说，一般都不允许数据出现丢失情况，那么我们应该把数据库的恢复模式设置成完整。比如我们有一个数据库周一大小为200GB，周二大小变为230GB，周三大小变为250GB，周四大小270GB，周五大小变为290GB，如果我们制定数据库的备份策略是每天进行完整备份，那么一个星期我们的磁盘使用量就要达到了上千G，此外每次备份这样大的文件使用
转载
2024-01-06 11:38:41
87阅读
