mb62de8abf75c00的博客_笔记,博客目录,生活杂谈_51CTO博客

开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2023年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

51CTO博客

搜索历史清空

热门搜索

查看【】的结果
首发福利
写文章
创作中心
登录注册

PostgreSQL查询引擎——transform expressions之AEXPR_OP

PostgreSQL查询引擎——transform expressions之AEXPR_OP

transformAExprOp函数将对AEXPR_OP、AEXPR_LIKE、AEXPR_ILIKE和AEXPR_SIMILA

postgresql

数据库

java

运算符

List

原创 3天前 32 阅读

Doris数据库BE——LoadChannelMgr原理解析

Doris数据库BE——LoadChannelMgr原理解析

数据在经过清洗过滤后，会通过Open/AddBatch请求分批量将数据发送给存储层的BE节点上。在一个BE上支持多个LoadJob任务同时并发写入执行。LoadChannelMgr负责管理这些任务，并对数据进行分发。internal serviceOpen/AddBatch请求接口使用BRPC，定义在be/src/service/internal_service.h文件中。如下列出了tablet_

数据库

java

c#

缓存

ide

原创 5天前 28 阅读

PostgreSQL数据库查询执行——算子间数据包裹TupleTableSlot

TupleTableSlot定义在src/inclu

数据库

postgresql

java

元组

#define

原创 13天前 44 阅读

PostgreSQL查询引擎——General Expressions Grammar之restricted expression

PostgreSQL查询引擎——General Expressions Grammar之restricted expression

General expressions语法规则定义在src/backend/parser/gram.y文件中，其是表达式语法的核心。a_expr是不受限制的类型

数据库

运算符

优先级

General

原创 19天前 41 阅读

PostgreSQL类型系统——Data Types

PostgreSQL类型系统——Data Types

PostgreSQL has a rich set of native data types available to users. Users can add new types to

postgresql

数据库

#define

SQL

PostgreSQL

原创 19天前 57 阅读

PostgreSQL执行引擎——execScan 投影过滤与谓词过滤

前面的博客PostgreSQL数据库查询执行——SeqScan节点执行介绍了SeqScan节点

数据库

赋值

List

PostgreSQL

原创 21天前 57 阅读

HDF5 VOL Connector to Apache Arrow

HDF5 VOL Connector to Apache Arrow

随着数据集大小和数量的不断增加，已经开发了各种文件格式，如Apache Parquet[1]、ORC[2]、Avro[3]和Apache Arrow[4]、[5]，以有效地

apache

java

大数据

Apache

数据

翻译 27天前 78 阅读

Greenplum数据库执行器——PartitionSelector执行节点

Greenplum数据库执行器——PartitionSelector执行节点

为了能够对分区表有优异的处理能力，对于查询优化系统来说一个最基本的能力就是做分区

数据库

java

开发语言

分区表

List

原创 1月前 135 阅读

Greenplum数据库执行器——DynamicSeqScan执行节点

从上述执行计划对比可以看出，Postgresql优化器中每个分区子表都对应一个SeqS

数据库

数据结构

postgresql

初始化

缓存

原创 1月前 53 阅读

Apache DolphinScheduler 安装部署

Apache DolphinScheduler 安装部署

Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作

apache

数据库

mysql

java

原创 2月前 249 阅读

Greenplum数据库扩容——在线扩容工具GPExpand使用

Greenplum数据库扩容——在线扩容工具GPExpand使用

随着收集额外数据并且现有数据的定期增长，数据仓库通常会随着时间的推移而不断增长。有时，有必要增加数据库能力来联合不同的数据仓库到一个数据库中。数据仓库也可能需要额外的计算能力（CPU）来适应新增加的分析项目。在系统被初始定义时就留出增长的空间是很好的，但是即便用户预期到了高增长率，提前太多在资源上投资通常也不明智。因此，用户应该寄望于定期地执行一次数据库扩容项目。Greenplum使用gp

数据库

数据仓库

数据

初始化

原创 2月前 36 阅读

kafka集群之kraft模式部署

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。目前，Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Ka

kafka

分布式

大数据

sed

元数据

原创 2月前 314 阅读

PostgreSQL查询引擎——transform expressions之CaseExpr

PostgreSQL查询引擎——transform expressions之CaseExpr

定义在src/backend/parser/parser_expr.c文件中的Node *transformExpr(ParseState *pst

postgresql

数据库

类型转换

Test

执行流程

原创 3月前 42 阅读

PostgreSQL查询引擎——transform expressions之const

PostgreSQL查询引擎——transform expressions之const

定义在src/backend/parser/parser_expr.c文件中的函数用于分析和转换表达式，包含类型检查和类型转换的工作。该函数将原始语法输出转换为具有完全确定语义的表达式树（Type checking and type casting is done here. This processing converts the raw grammar output into expression trees with fully determined semantics）。

postgresql

前端

javascript

sed

ci

原创 3月前 53 阅读

PostgreSQL查询引擎——transform expressions之columnref

PostgreSQL查询引擎——transform expressions之columnref

定义在src/backend/parser/parser_expr.c文件中的函数用于分析和转换表达式，包含类型检查和类型转换的工作。该函数将原始语法输出转换为具有完全确

postgresql

数据库

java

d3

ide

原创 3月前 66 阅读

PostgreSQL数据库查询执行——Parallel Query

PostgreSQL can devise query plans that can leverage multiple CPUs in order to answer queries faster. This feature is known as parallel

postgresql

数据库

元组

ci

执行计划

翻译 4月前 142 阅读

HAWQ数据库技术解析——filesystem interface

filesystem interface代码定义在pgsql/src/backend/storage/file/filesystem.c文件中。首先介绍哈希表(

数据库

哈希算法

算法

hdfs

初始化

原创 4月前 49 阅读

HAWQ数据库技术解析——HDFS filesystem interface

HAWQ数据库技术解析——HDFS filesystem interface

src/backend/tcop/utility.c/ProcessUtility函数在T_DefineStmt分支中处理stmt->kind为OBJECT_FILESYSTE

hdfs

数据库

大数据

List

HDFS

原创 4月前 45 阅读

PostgreSQL数据库FDW——Parquet S3 ParquetReader类

ParquetReader类定义和实现位于src/reader.cpp和src/reader.hpp下，其主要作用是首先ParquetReader类声明于src/rea

数据库

postgresql

数据类型

构造函数

json

原创 4月前 85 阅读

PostgreSQL数据库FDW——Parquet S3 MultifileMergeExecutionStateBaseS3

PostgreSQL数据库FDW——Parquet S3 MultifileMergeExecutionStateBaseS3

MultifileMergeExecutionStateBaseS3和SingleFileExecutionStateS3、MultifileExecutionStateS3类不同

数据库

postgresql

初始化

元组

sed

原创 4月前 51 阅读

PostgreSQL数据库FDW——Parquet S3 ParquetS3FdwExecutionState

PostgreSQL数据库FDW——Parquet S3 ParquetS3FdwExecutionState

create_parquet_execution_state函数根据ReaderType类型创建不同的ExecutionState子类，以实现不同的执行行为。

数据库

java

开发语言

apache arrow

sed

原创 4月前 52 阅读

Apache Arrow User Guide——使用Apache Arrow读写HDFS中的parquet文件

这几个库目前用不到，但是CMakeLists.txt里面会用到一个libhdfs.so。完事以后就可以用Apache Arr下LD_LIBRARY_PATH。

hdfs

apache

hadoop

#include

HDFS

原创 4月前 128 阅读

PostgreSQL数据库FDW——Parquet S3 CachingParquetReader

CachingParquetReader类继承自ParquetReader类，相对于DefaultParquetReade

数据库

postgresql

java

json

存储空间

原创 4月前 71 阅读

PostgreSQL数据库FDW——Parquet S3 ParallelCoordinator

ParallelCoordinator类定义在src/reader.hpp文件中，该类用于支持postgres

java

开发语言

postgresql

数据库

初始化

原创 4月前 78 阅读

PostgreSQL数据库FDW——Parquet S3 Foreign Data Wrapper

PostgreSQL数据库FDW——Parquet S3 Foreign Data Wrapper

postgresql

数据库

json

ci

外部表

翻译 4月前 116 阅读

PostgreSQL数据库FDW——Parquet S3 DefaultParquetReader类

DefaultParquetReader类继承自ParquetReader类，其包含了用于封装row group。

数据库

postgresql

sed

获取数据

3c

原创 4月前 75 阅读

PostgreSQL数据库FDW——读取parquet文件用例

PostgreSQL数据库FDW——读取parquet文件用例

读取数据到column_data中：read_column同样也是使用arrow::ChunkedArray

数据库

postgresql

arrow

读取数据

PostgreSQL

原创 4月前 126 阅读

Apache Arrow User Guide —— Reading and writing Parquet files

Apache Arrow User Guide —— Reading and writing Parquet files

这种类型安全的方法还可以确保在不省略字段的情况下写入行，并允许自动（

apache

java

c++

ide

数据

翻译 4月前 157 阅读

PostgreSQL数据库事务系统——phenomena

PostgreSQL数据库事务系统——phenomena

The isolation level specifies the kind of phenomena that can occur during the exec

数据库

postgresql

sql

SQL

数据

原创 4月前 83 阅读

PostgreSQL数据库TableAM——HeapAM synchronized scan machinery

当多个后端在同一个表上运行顺序扫描时，我们尝试使它们保持同步，以减少所需的总体I/O。目标是只将每个页面读入共享缓冲区缓

数据库

postgresql

java

数组

ci

原创 4月前 36 阅读

首页
1
2
3
4
5
6
7
8
共894条记录