第一章 spark概述1.1 spark是什么？Spark是一种基于内存的快速、通用、可扩展的大数据分布式引擎1.2 Spark和HadoopHadoopHadoop 是由 java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架作为 Hadoop 分布式文件系统，HDFS 处于 Hadoop 生态圈的最下层，存储着所有的 数 据 ， 支 持 着 Hadoop 的 所
转载
2024-08-14 18:24:25
40阅读
select *
from employees,departments;假设employees有2行,departments有3行,则查询以后两表做笛卡尔积,返回结果有6行,如果要禁止笛卡尔积,则需要添加where条件.2.通配符'%', '_' 需要与like搭配使用. %:占位0,1或多个字符 _:占位1个字符3.HBase(参考维基百科):
转载
2024-06-30 06:49:40
30阅读
在Kubernetes中部署和优化数据库(PostgreSQL和MySQL)的性能是一个重要而复杂的任务。在本篇文章中，我将向你介绍如何在Kubernetes上部署和优化这两种数据库的性能。
整个过程可以分为以下步骤：
| 步骤 | 描述 |
|------|---------------------------------
原创
2024-05-24 10:48:13
133阅读
PostgreSQL 和 MySQL 性能比较
随着数据库应用的广泛使用，对于数据库性能的需求也变得越来越高。其中，PostgreSQL 和 MySQL 是两个非常受欢迎的开源关系型数据库。本文将对它们的性能进行比较，并给出一些代码示例来说明它们之间的差异。
## PostgreSQL 和 MySQL 简介
PostgreSQL 是一个功能强大且高度可定制的对象关系数据库管理系统。它支持复杂
原创
2023-12-25 03:46:14
323阅读
# Redis与HBase性能优化指南
在现代应用中，性能至关重要，特别是处理大型数据集时。Redis和HBase都是流行的数据库，但它们的特性和用法各自有所不同。本文将带你了解如何组合使用这两个系统以提高性能。
## 1. 整体流程
首先，我们需要明确实现Redis和HBase性能优化的步骤。以下是一个简化的流程表：
| 步骤 | 描述 |
|--
测试结果一、 场景1：单条记录导入 图2：单条记录导入场景在单条记录导入场景中，SequoiaDB与MongoDB使用insert方法，writeConcern设置为Normal；HBase则设置客户端缓冲区为2KB。而在错误检验方式上，由于是单条记录插入，所以MongoDB必须在每次操作后检测返回值是否成功，因此不可以使用异步插入方式。在图2的结果中可以看到，单条记录导入操作Sequo
转载
2023-11-04 22:13:56
139阅读
hbase，mongodb，redis都属于nosql型存储方案。在实际的项目实践上看，他们的系统存储及处理的数量由大到小。HBase基于列存储，提供<key, family:qualifier, timestamp>三项坐标方式定位数据，由于其qualifier的动态可扩展型（无需schema设计，可存储任意多的qualifier），特别适合存储稀疏表结构的数据（比如互联网网页类）。
转载
2024-02-22 11:57:32
24阅读
hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商
转载
2024-07-19 21:32:46
54阅读
一、 HBase中的基本概念1. HBase就是一个数据库。我们主要可以通过这5个方面描述hbase：2. 首先它是Bigtable的开源实现，论文中描述Bigtable主要运用于网页索引倒排表数据的存储。HBase和HDFS的模型最初参考的就是BigTable和GFS。搜索关键词google 三篇论文可以搜到论文。3. 它是分布式数据库——较传统数据库更易扩展、更高可用。这里的高可用
转载
2023-08-13 19:40:46
203阅读
背景HBase统计 RowCount 的方法有好几种，并且执行效率差别巨大，以下3种方法效率依次提高。一、hbase-shell的count命令这是最简单直接的操作，但是执行效率非常低，适用于百万级以下的小表RowCount统计。此操作可能需要很长时间，来运行计数MapReduce作业。默认情况下每1000行显示当前计数，计数间隔可自行指定。默认情况下在计数扫描上启
转载
2023-07-21 12:24:55
29阅读
# MySQL和PostgreSQL性能对比
## 引言
MySQL和PostgreSQL是两个功能丰富的开源关系型数据库管理系统（RDBMS）。它们在性能、可靠性、扩展性以及适用场景等方面存在差异。在本文中，我们将比较MySQL和PostgreSQL在性能方面的差异，并提供一些代码示例来说明它们的使用方式。
## MySQL和PostgreSQL的性能差异
### 1. 性能指标
性能
原创
2023-10-26 12:45:47
98阅读
开宗明义，你不应该在阿里云上使用自建的MySQL or SQL Server数据库，对了，还有Oracle or PostgreSQL数据库。云数据库 RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于飞天分布式系统和全SSD盘高性能存储，支持MySQL、SQL Server、PostgreSQL和PPAS(高度兼容Oracle)引擎，
SQL的全称：Structured Query Language，即结构化查询语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。 SQL 是一门 ANSI（AmericanNational Standard Institute）的
1.使用方面Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL 的引擎，并且运行MapReduce 任务，Hbase 是一种在Hadoop之上的NoSQL的Key/vale数据库。 当然，这两种工具是可以同时使用的。就像用Google 来搜索，用FaceBook 进行社交一样，Hive 可以用来进行统计查询，HBase 可以用来进行实时查询，数据也可以从Hive 写到Hb
转载
2023-07-05 10:30:04
18阅读
PhoenixPhoenix和hbase共用一个zookeeper，但是在刚建好Phoenix的时候是读不到hbase中的表的，在Phoenix中建过表之后在hbase中可以看到，在hbase中建过表Phoenix中看不到Hbase适合存储大量的对关系运算要求低的NOSQL数据，受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀，一
转载
2024-04-10 22:59:44
44阅读
HBase的使用原创春哥大魔王的博客工作日志2019/05/12 15:41阅读数 9.4K前言HBase是一个高可靠，高性能，面向列，可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hadoop的HDSF，利用HBase可以在廉价PC server上搭建起大规模结构化存储集群。HBase被广泛应用于大数据存储解决方案中。HBase 特点HBase优点：列可以动态增加，列为空不会存储数据，节
转载
2023-07-05 11:07:24
106阅读
知识点01：回顾知识点02：目标知识点03：HDFS数据安全：元数据安全知识点04：HDFS数据安全：SNN的功能知识点05：HDFS数据安全：元数据查看知识点06：HDFS Java API：应用场景及环境配置知识点07：HDFS Java API：构建连接知识点08：HDFS Java API：获取集群信息知识点09：HDFS Java API：创建目录及列举知识点10：HDFS Java A
转载
2023-12-12 21:38:05
8阅读
优点： ClickHouse写入吞吐量大，单服务器日志写入量在50MB到200MB/s，每秒写入超过60w记录数，是ES的5倍以上。查询速度快，官方宣称数据在pagecache中，单服务器查询速率大约在2-30GB/s；没在pagecache的情况下，查询速度取决于磁盘的读取速率和数据的压缩率。。ClickHouse比ES服务器成本更低。一方面ClickHouse的数据压缩比比ES高，相同数据占
转载
2024-01-25 22:53:08
97阅读
一、 简介hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，
转载
2023-07-18 13:46:37
18阅读
HBase是Hadoop生态系统中的一个组件，是一个分布式、面向列的开源数据库，可以支持数百万列、超过10亿行的数据存储，因此，对HBase性能提出了一定的要求，那么如何进行HBase性能优化呢？HBase的拥有完整的支撑系统，包括底层硬件以及把硬件和操作系统、JVM、HDFS连接起来的网络之间的所有部件，这些都会对HBase性能和状态产生影响；除此之外，HBase的交互方式也会对HBase性能产
转载
2023-07-10 15:42:00
33阅读
