wx639033c32a1c9的博客_大数据(2)

数据复制方案

1. 主从复制2. 多主节点复制3. 无主节点复制

java

主从复制

原创 2022-12-07 14:51:46 59 阅读

扩展sql语句

1. 行类型 ROW CREATE TABLE X ( V INTEGER W ROW(W1 VARCHAR(1), W2 VARCHAR(4)))行类型可以

sql

数据库

大数据

SQL

结果集

原创 2022-12-07 14:51:42 42 阅读

MySql 事务隔离实现：

MySql 事务隔离实现：不同时刻启动的事务会有不同的read-view。同一条记录在系统中可以存在多个版本，就是数据库的多版本并发控制（MVCC）。在MySQL里，有两个“视图”的概念： 1. view：它是一个用查询语句定义的虚拟表，在调用的时候执行查询语句并生成结果。创建视图的语法是create view …，而它的查询方法与表一样。 2. InnoDB在实现MVCC时用到的一致

mysql

数据库

java

数据

查询语句

原创 2022-12-07 14:51:38 54 阅读

HADOOP和MPP数据库的区别

1.MPP数据库: MPP数据库专注于在一个集群上并行执行SQL查询分析。2. HADOO

hadoop

数据库

mapreduce

数据

时间复杂度

原创 2022-12-07 14:51:37 423 阅读

MySql 锁的分类

0. 总根据加锁的范围， MySQL里面的锁大致可以分成全局锁、表级锁和行锁三类。 1. 全局锁: 让整个库处于只读状态。全局锁的典型使用场景是，做全库逻辑备份。Flush tables with read lock (FTWRL)2. 表级锁：MySQL里面表级别的锁有两种：一种是表锁，一种是元数据锁（meta data lock， MDL)。1）表锁：可以用unl

java

数据库

开发语言

MySQL

元数据

原创 2022-12-07 14:51:29 39 阅读

分布式数据库的分段

1. 水平分段: 基于元组分段2. 垂直分段：基于属性分段3. 混合分段4. 导出分段: 是。

java

服务器

开发语言

元组

原创 2022-12-07 14:51:29 63 阅读

维度建模过程

维度模型：1.星形模型 2.雪花模型维度建模的步骤：1. 选择业务流程2. 声明事

大数据

建模

业务流程

原创 2022-12-07 14:51:26 81 阅读

分布式数据库的分段式提交

参与者主要有：1. 协调者：四种状态： INITIAL, WAITING, DECIDED, COMPLETED2. 参与者...

分布式

大数据

协调者

提交事务

无响应

原创 2022-12-07 14:51:21 95 阅读

MySql主键索引和非主键索引/聚簇索引和非聚簇索引

如果语句是select * from Twhere k=5，即普通索引查询方式，则需要先搜索k索引树，得到ID。如果

mysql

数据库

sql

主键

搜索

原创 2022-12-07 14:51:19 171 阅读

数据库的复制

1. 基于内核的复制：白盒复制2. 基于中间件的复制：无缓存（黑盒复制）

sql

数据库

缓存

黑盒

中间件

原创 2022-12-07 14:51:17 74 阅读

db2隔离级别

具体的锁的类型还是由操作的类型来决定，如果是读取，则加共享锁；由于会锁

数据库

sql

java

隔离级别

SQL

原创 2022-12-07 14:51:08 309 阅读

数据库索引分类

主要用来查找文本中的关键字，而不是直接与字段值进行比较，全文索引需要配合match a

数据库

sql

mysql

全文索引

字段

原创 2022-12-07 14:51:02 57 阅读

MySql日志

binlo

mysql

数据库

java

Server

MySQL

原创 2022-12-07 14:50:55 39 阅读

MySql架构

1. 存储引擎层负责数据的存储和提取。其架构模式是插件式的，支持InnoDB、 MyISAM、Memory等多个存储引擎。现在最常用的存储引擎是InnoDB。2. MySql8.0以后缓存删除了。

mysql

架构

数据库

存储引擎

Memory

原创 2022-12-07 14:50:31 26 阅读

zookeeper核心

1.一致2.有头3.数据树

数据

持久性

原创 2022-12-07 14:50:20 39 阅读

MySql隔离级别

隔离级别脏读不可重复读幻像读READ_UNCOMMITED Y

linq

p2p

gnu

数据

隔离级别

原创 2022-12-07 14:50:09 59 阅读

RDD依赖

窄依赖 (narrow dependency)：父 RDDs 的一个分区最多被子 RDDs 一个分区所依赖；宽依赖 (wide dependency)：父 RDDs 的一个分区可以被子 RDDs 的多个子分区所依赖。区分这两种依赖是非常有用的：首先，窄依赖允许在一个集群节点上以流水线的方式（pipeline）对父分区数据进行计算，例如先执行 map 操作，然后执行 filter 操作。而宽依赖则需

大数据

依赖关系

数据

ide

原创 2022-12-07 14:49:43 61 阅读

feature-based fine-tuning 区别

feature-based只变化了最后一层的参数。通常feature-based方法包括

人工智能

机器学习

深度学习

语言模型

sed

原创 2022-12-07 14:49:33 184 阅读

ORM简介

ORM（Object Relational Mapping）框架采用元数据来描述对象与关系映射的自然就想

ORM

元数据

持久化

原创 2022-12-07 14:49:11 165 阅读

写模式的缓存一致性问题

写模式的缓存一致性问题写模式的缓存一致性问题写模式的缓存一致性问题写=

数据库

缓存

写数据

读写锁

原创 2022-12-07 14:48:46 79 阅读

数据库三范式

1．第一范式(确保每列保持原子性)：所有字段值都是不可分解的原子值。2

数据库

database

主键

原创 2022-12-07 14:48:37 123 阅读

数据库中的锁

锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁锁

数据库

共享锁

排它锁

读锁

原创 2022-12-07 14:48:14 50 阅读

hadoop权威指南-阅读笔记

一 Map-Reduce两个阶段都是键值对。Map把数据打散，Reduce对相同键的数据做聚集计算。二 HDFS1.高延时，数据不可修改（追加）。2.

数据

HDFS

数据块

原创 2022-12-07 14:47:50 100 阅读

本地缓存和分布式缓存

问题：当一个服务部署在多个服务器时，本地缓存会产生数据不一致，本地内存不足等问题。

缓存

本地缓存

内存不足

原创 2022-12-07 14:47:48 107 阅读

数据存储概况

一.物理存储与读写瓶颈1.磁盘（固态硬盘，机械硬盘）(1)磁盘寻址：毫秒

数据

数据库

Redis

原创 2022-12-07 14:47:41 64 阅读

HASH JOIN MERGE JOIN NESTED LOOP

多表连接的三种方式详解 HASH JOIN M选择。在嵌套循环中，内表被外表驱动，外表返回的每一行都要在内表中检索找...

散列表

嵌套循环

数据

转载 2022-12-07 14:47:35 84 阅读

redis 数据结构

String：set, getList：del, lpush, lrangeHash：del, hmset, hmgetSet：d

redis

java

double类型

原创 2022-12-07 14:46:41 31 阅读

hive和spark

Hive 本质上就是将 SQL 转换为 MapReduce 作业Spark SQL 将 SQL 转换为一系列

sql

SQL

Hive

原创 2022-12-07 14:46:15 63 阅读

Spark编程

1. RDD1.1 创建RDD1.1.1 读取外部数据集SparkContext.parallelize()1.1.2 在驱动器程序里分

spark

大数据

分布式

数据

键值对

原创 2022-12-07 14:45:45 59 阅读

HQL语句

distributeby和sortby配合使用；distributeby在groupby之前。可以在map阶段进行join

大数据

数据

Hive

hive

原创 2022-12-07 14:45:41 106 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx639033c32a1c9的博客