一、什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序； 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 二、Hive的优缺点 优点 1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2)避
转载
2023-09-08 19:09:26
72阅读
因为MongoDB是一个非关系数据库系统，所以许多关系数据库管理员需要执行的操作，MongoDB并不需要执行。例如，不需要在MongoDB服务器上创建数据库、集合或字段，因为在访问它们时动态创建这些元素。不需要预定义所有元素，例如文档中的字段。管理员和开发者只需要偶尔从数据库中清除未使用的数据元素即可，尤其是在项目的开发阶段，开发者在最后确定解决方案之前可能尝试多种方案。MongoDB也鼓励了这种
转载
2023-06-22 17:16:43
264阅读
一、简介 mysql适合结构化数据，类似excel表格一样定义严格的数据，用于数据量中，速度一般支持事务处理场合redis适合缓存内存对象，如缓存队列，用于数据量小，速度快不支持事务处理高并发场合mongodb，适合半结构化数据，如文本信息，用于数据量大，速度较快不支持事务处理场合hadoop是个生态系统，上面有大数据分析很多组件，适合事后大数据分析任务spark类似hadoop，偏向于内存计算
转载
2024-07-04 17:28:29
27阅读
1.安装 mysql服务1.卸载系统自带的相关数据库rpm -qa | grep mysql
rpm -qa | grep mariadb
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_642.部署Mysqltar -zxvf mysql-5.7.25-el7-x86_64.tar.gz -C /opt/module/3.账号与权限#添加账号
g
转载
2024-06-11 17:36:53
56阅读
/export/servers/hadoop-2.6.0-cdh5.14.0/logs/hadoop-root-datanode-node01.log总结:集群id冲突,删除旧的节点,重新安装举个栗子明天不用上课的消息只传给班长,结果第二天全班人来了就班长没来,只更新了一个节点,其他节点没更新...
原创
2022-03-02 14:41:19
278阅读
/export/servers/hadoop-2.6.0-cdh5.14.0/logs/hadoop-root-datanode-node01.log总结:集群id冲突,删除旧的节点,重新安装举个栗子明天不用上课的消息只传给班长,结果第二天全班人来了就班长没来,只更新了一个节点,其他节点没更新...
原创
2021-06-21 10:33:35
109阅读
mysql开启慢查询日志使用场景MySQL慢查询日志功能默认是关闭的，通过开启慢查询日志，可以让MySQL记录下查询超过指定时间的语句，再通过分析定位问题瓶颈，优化查询提高数据库系统的性能。测试版本系统：windows10版本：mysql 8.x参数说明涉及到的参数slow_query_log： ON | OFF，开启或关闭慢查询功能；slow_query_log_file： /PATH/TO
转载
2024-09-16 02:32:20
29阅读
```mermaid
stateDiagram
[*] --> 小白入门
小白入门 --> 学习SQL语法
学习SQL语法 --> 学习MySQL基础
学习MySQL基础 --> 学习大数据基础
学习大数据基础 --> 实现MySQL in 大数据
实现MySQL in 大数据 --> [*]
```
作为一名经验丰富的开发者，你需要教会那位刚入行
原创
2024-07-13 05:09:52
6阅读
# 大数据与MySQL：在海量数据中的驾驭
随着科技的进步，数据已成为现代社会不可或缺的资产。在亿万数据的背后，大数据的分析与存储是我们面临的一大挑战。而MySQL作为一种广泛使用的关系数据库管理系统，因其强大的数据处理能力和灵活性，被越来越多的企业用来存储和管理大数据。
## 1. 什么是大数据？
大数据通常指的是体量庞大、结构复杂且变化迅速的数据集。它的特点通常被称为“4V”：体量（Vo
原创
2024-10-25 06:25:03
35阅读
遇到问题：某个信息化系统的资产管理统计分析模块，非常慢，10多分钟过去了，还没见到应该有的统计表。（具体什么时候能出来，没人等到它出来过。。。）
业务背景：资产管理分析模块初始化需要统计所有单位的所有资产数据，加压环境数据量为360万。在统计分析的过程中，需要对资产数据大小，对单位进行排序，取前20家，同时对资产按照不同类别进行分类统计。
数据量来
转载
2023-08-28 13:12:23
67阅读
##1. 导出Sql文件在导出时合理使用几个参数，可以大大加快导入的速度。-e 使用包括几个VALUES列表的多行INSERT语法; --max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小; --net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行注意：max_allowed_pac
转载
2023-08-31 16:54:14
88阅读
场景当我们业务数据库表中的数据越来越多，如果你也和我遇到了以下类似场景，那让我们一起来解决这个问题数据的插入,查询时长较长后续业务需求的扩展 在表中新增字段 影响较大表中的数据并不是所有的都为有效数据 需求只查询时间区间内的评估表数据体量我们可以从表容量/磁盘空间/实例容量三方面评估数据体量，接下来让我们分别展开来看看表容量表容量主要从表的记录数、平均长度、增长量、读写量、总大小量进行
转载
2023-07-28 20:37:32
818阅读
1、读写分离 读写分离，将数据库的读写操作分开，比如让性能比较好的服务器去做写操作，性能一般的服务器做读操作。写入或更新操作频繁可以借助MQ，进行顺序写入或更新。 2、分库分表 分库分表是最常规有效的一种大数据解决方案。垂直拆分表，例如将表的大文本字段分离出来，成为独立的新表。水平拆分表，可以按时间，根据实际情况一个月或季度创建一个表，另外还可以按类型拆分。单表拆分数据应控制在1000万以内。分库
转载
2023-05-31 15:39:26
138阅读
大数据专业软考成绩怎么查
随着大数据时代的到来，越来越多的人选择参加软考以提升自己在大数据领域的技能和竞争力。然而，很多人在考试结束后，却不知道如何查询自己的软考成绩。本文将详细介绍大数据专业软考成绩查询的方法，帮助大家轻松获取自己的考试成绩。
一、软考成绩查询方式
1. 官方网站查询
软考官方网站是查询成绩的首选途径。考生可以登录中国计算机技术职业资格网（www.ruankao.org.
原创
2023-12-11 15:53:39
115阅读
Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎。意图为其他应用提供高速、低空间占用、高结果 相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。当前系统内置MySQL和PostgreSQL 数据库数据源的支持，也支持从标准输入读取特定格式 的XML数据。Sphinx的特性如下：a) 高速的建立索引(在当代
原创
精选
2016-11-30 16:01:57
3045阅读
点赞
# MySQL查数据总数
## 简介
在MySQL数据库中，当我们需要知道某个表中有多少条数据时，可以使用`COUNT`函数来获取数据的总数。`COUNT`函数是MySQL提供的一个聚合函数，用于统计指定列或表中非NULL的行数。
本文将介绍如何使用`COUNT`函数来查询MySQL中数据的总数，以及在查询大量数据时的优化方法。
## 使用COUNT函数查询数据总数
要使用`COUNT`
原创
2023-08-24 21:38:51
481阅读
# Mysql查数据规模
## 引言
在开发过程中，我们经常需要对数据库中的数据进行查询和分析。而对于一个经验丰富的开发者来说，了解如何查看和分析数据库中的数据规模是非常重要的。本文将介绍如何使用Mysql来查看数据规模，并向刚入行的小白详细解释每一步需要做什么以及涉及到的代码。
## 流程图
使用流程图可以清晰地展示整个过程，下面是查询数据规模的流程图：
```mermaid
sequen
原创
2024-01-08 09:33:05
37阅读
# MySQL 查数据总量的科普文章
MySQL 是一种广泛应用的关系型数据库管理系统，它通过结构化查询语言（SQL）为用户提供了强大的数据存储与检索功能。本文将介绍如何在 MySQL 中查询数据总量，结合代码示例、关系图和类图，帮助读者更深入理解 MySQL 的使用及其架构。
## MySQL 的基本概念
在开始之前，我们先了解 MySQL 中的一些基本概念。MySQL 数据库由多个表格构
原创
2024-08-06 09:57:53
39阅读
MySQL大数据表查询和删除重复的记录数据1）首先合成用于编写SQL语句的包含表的需要的列的字符串，逗号分割：SELECT concat('select ',group_concat(
CASE
WHEN COLUMN_NAME='id'
THEN NULL
ELSE
concat('`',column_name ,'`')
END),' from ', TABLE_NAME,';')
转载
2023-10-31 11:42:58
33阅读
# 从大到小，了解 MySQL 数据库
MySQL 是一款开源的关系型数据库管理系统，被广泛应用于Web应用程序开发中。作为一个开发者，了解 MySQL 数据库的重要性和使用方法是至关重要的。在这篇文章中，我们将按照从大到小的顺序，探讨 MySQL 数据库的重要性，以及如何使用它来构建强大的应用程序。
## MySQL 的重要性
MySQL 是目前世界上最流行的关系型数据库管理系统之一，其重
原创
2024-02-29 04:23:14
18阅读
