wx639033c32a1c9的博客_大数据

PostgreSQL

最佳实践

数据

原创 2022-12-19 21:57:05 468 阅读

分布式和集群

集群不同的多台服务器上部署相同的模块，通过分布式调度软件统一调度，对外提供服务和访问。分布式不同的多台服务器上部署不同的模块，他们之间通过rpc,rmi通信。

大数据

服务器

原创 2022-12-08 00:05:40 98 阅读

GREENPLUM的数据加载方式

综述：greenplum数据加载主要包括insert、copy、外部表、gpload、web external table等五种方式。其中insert和cop

外部表

数据

CSV

原创 2022-12-08 00:05:30 877 阅读

redis面试题

1.2. 删除：过期策略3. 回收：内存空间不足，自主放弃 4.5.6. 7. 通用问题：大量key直接访问数据库通用解决方案

redis

java

数据库

Redis

缓存

原创 2022-12-07 18:15:43 105 阅读

Mysql GTID

的全称是Global Transaction Identifier，也就是全局事务ID，是一个事务在提交的时候生成。server_uuid 是一个实例第一次启动时自动生成的

mysql

数据库

提交事务

自动生成

全局事务

原创 2022-12-07 16:37:36 160 阅读

mysql两阶段提交

实际上，写binlog是分成两步的：1. 先把binlog从binlog cache中写到磁盘上的binlog文件；redo log和binlog都可以用于表示事务的提交状态，而两阶段提交就是让这两个状态保持逻辑上的一致。事

mysql

数据库

持久化

恢复数据

文件系统

原创 2022-12-07 16:37:25 195 阅读

SPARK组件

SparkStreaming主要用于快速构建可扩展，高吞吐量，高容错的流处理程序。支持从HDFS，Flume，Kafka，Twitter和ZeroMQ读取数据，并进行处理。SparkStreami

spark

大数据

hadoop

Streaming

批处理

原创 2022-12-07 16:37:20 906 阅读

RDD分区

2.Key-Value型的RDD还拥有Partitioner(分区器)，用于决定数据被存储在哪个分区中，目前Spark中支持HashPartitioner(按照哈希分区)和RangeParationer(按照范围进行分区)；1.一个RDD由

大数据

数据

原创 2022-12-07 16:37:00 117 阅读

HDFS故障类型和检测方法

读数据时，namenode会返回所有datanode的位置，如果从某个datanode无法读数据，会跳过该datanode并选择其他datanode读数据。写数据未收到应答，会跳过该datanode,写入其他

hdfs

hadoop

大数据

HDFS

写数据

原创 2022-12-07 16:35:46 71 阅读

RDD和DataFrame和Dataset

为了支持结构化数据的处理，SparkSQL提供了新的数据结构DataFrame。DataFrame是一个由具名列组成的数据集。它在概念上等同于关系数据库中的表或R/Python语

pandas

python

数据库

结构化

API

原创 2022-12-07 16:35:32 110 阅读

redis 持久化

以日志形式记录每个写操作，只许追加文件。恢复时根据日志文件将指令执行一次。fork一个子进程，做持久化。写入/读取临时文件。主进程不进行IO操作。适合大规模数据恢复，数据恢复完整性差。时间段中内存中的数据写入磁盘。......

redis

数据库

缓存

服务器

持久化

原创 2022-12-07 16:19:48 47 阅读

redis复制机制

Master以写为主，Slaver以读为主。Master/Slaver机制。作用读写分离，容灾恢复。

大数据

读写分离

主从复制

原创 2022-12-07 16:19:28 73 阅读

redis事务

事务一组命令的集合。一个事务中所有命令都会序列化，按顺序地串行化执行而不会被其他命令插入，不许加塞。入队将多个命令入队到

redis

数据库

java

EXEC

隔离级别

原创 2022-12-07 16:19:21 56 阅读

MySql字符串索引

4. 创建hash字段索引，查询性能稳定，有额外的存储和计算消耗，跟第三种方式

数据库

字符串

占用空间

字段

原创 2022-12-07 14:56:29 117 阅读

Transformation 和 Action 常用算子

代码】Transformation和Action常用算子。

java

javascript

servlet

数据

Hadoop

原创 2022-12-07 14:56:10 58 阅读

数据库面试

数据库面试时常见的26个问题1. SQL语言包括哪些类型？数据定义：Create Tabl

数据库

字段

主键

转载 2022-12-07 14:54:40 67 阅读

Mesos学习

Mesos——像用一台电脑（一个资源池）一样使用整个数据中心ApacheMesos是一个开源的

学习

大数据

运维

ide

ci

原创 2022-12-07 14:54:36 205 阅读

数据的编码格式

数据的编码格式数据的编码格式数据的编码格式

database

原创 2022-12-07 14:54:32 216 阅读

ACID+CAP+BASE+PACELC

AP大部分网站架构选择。

数据库

nosql

分布式

分布式系统

Cassandra

原创 2022-12-07 14:54:30 93 阅读

HIVE内部表和外部表

内部表又叫做管理表(Managed/InternalTable)，创建表时不做任何指定，默认创建的

hive

hadoop

大数据

外部表

数据

原创 2022-12-07 14:53:51 69 阅读

Hive CLI

5.配置Hive变量。3.执行SQL命令。4.执行SQL脚本。

hive

hadoop

数据仓库

SQL

sql

原创 2022-12-07 14:53:47 114 阅读

分布式查询优化

1. 查询分解：全局模式2. 数据定位：段模式3. 全局优化：段上的统计数据

大数据

数据

全局优化

原创 2022-12-07 14:53:25 89 阅读

OLTP与OLAP

OLTP与OLAPOLTP与OLAPOLTP与OLAPOLTP与OLAPOLTP与OLAP

数据库

sql

大数据

数据仓库

SAP

原创 2022-12-07 14:53:17 140 阅读

分布式系统扩展

每个服务器拥有独立的cpu和内存，将

数据库

数据仓库

数据中心

服务器

原创 2022-12-07 14:53:10 27 阅读

数据复制介绍

所有客户端将写入操作都发送到某一个节点（主节点），由该节点将数

http

网络协议

网络

客户端

数据复制

原创 2022-12-07 14:53:03 68 阅读

批处理和流处理

批处理和流处理批处理和流处理批处理和流处理

大数据

原创 2022-12-07 14:52:48 143 阅读

数据分区介绍

数据分区介绍数据分区介绍数据分区介绍数据分区介绍数据分区介绍

大数据

原创 2022-12-07 14:52:43 72 阅读

MySql面试

交，这样会影响速度，所以最好把多条SQL语言放在begin和commit之间，组力高。，数据文件是分离的，

mysql

面试

数据库

数据

MySQL

原创 2022-12-07 14:52:11 113 阅读

Mysql复制原理

Mysql复制原理Mysql复制原理Mysql复制原理Mysql复制原理Mysql复制原理

mysql

数据库

原创 2022-12-07 14:52:09 53 阅读

Mysql为什么需要主从同步

Mysql为什么需要主从同步Mysql为什么需要主从同步Mysql为什么需要主从同步Mysql为什么需要主从同步

mysql

数据库

读写分离

原创 2022-12-07 14:51:57 57 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx639033c32a1c9的博客

欢迎

德哥PostgreSQL学习资料汇总(转)

分布式和集群

GREENPLUM的数据加载方式

redis面试题

Mysql GTID

mysql两阶段提交

SPARK组件

RDD分区

HDFS故障类型和检测方法

RDD和DataFrame和Dataset

redis 持久化

redis复制机制

redis事务

MySql字符串索引

Transformation 和 Action 常用算子

数据库面试

Mesos学习

数据的编码格式

ACID+CAP+BASE+PACELC

HIVE内部表和外部表

Hive CLI

分布式查询优化

OLTP与OLAP

分布式系统扩展

数据复制介绍

批处理和流处理

数据分区介绍

MySql面试

Mysql复制原理

Mysql为什么需要主从同步