# DBT教程
## 1. 介绍
DBT（Data Build Tool）是一种用于数据转换和运营的开源工具，它允许数据团队在数据仓库中创建和管理可测试、可维护的数据流程。DBT的主要目标是帮助数据团队更好地协作、保持数据质量和提高生产力。
在本教程中，我们将介绍DBT的基本概念和用法，并通过代码示例来演示其强大功能。
## 2. 安装和配置
要使用DBT，首先需要安装它。DBT支持在多
原创
2024-01-15 21:08:51
367阅读
dbt-project-evaluator 是官方提供的一个dbt 扩展，可以方便的自动帮助我们发现模型DAG的问题 支持的功能 协助
原创
2023-11-16 10:38:13
105阅读
dbt-codegen 是一个比较方便的dbt 工具包，可以用来生成模型 目前包含的macro generate_source source 类的 生成
原创
2024-06-03 10:13:42
189阅读
## 如何实现Hive DBT
### 概述
Hive DBT（Database Testing）是一种用于测试和验证Hive数据库的工具和方法。使用Hive DBT可以帮助开发者确保数据库的正确性和稳定性。本文将介绍如何实现Hive DBT，并提供详细的步骤和代码示例。
### 流程图
```mermaid
flowchart TD
A[创建测试数据库] --> B[创建测试表]
原创
2023-10-22 10:16:38
60阅读
dbt-score 是一个专门用开对于dbt metadata 进行linter 的工具，当前支持models，sources，snapshots ，目前dbt-score 的使用
dbt对接Spark是当今数据工程领域中的一个热门话题。随着数据需求的不断增长，将数据建模工具如dbt与强大的数据处理引擎Spark集成，成为了许多团队的首选。接下来，将详细介绍如何完成这一集成过程。
## 环境准备
在开始之前，确保已经安装了以下工具和依赖项，这将为实现dbt与Spark的对接打下基础。
依赖安装指南：
1. **Python**：dbt是基于Python构建的，因此必须
dbt dbt_external_tables 提供了在source 中使用外部table 的能力，主要面向的一些支持外表能力的数据仓库 因为dbt 已经支持了对于external配置属性的解析，dbt-external-tables 包核心就是对于包含属性的进行处理 比如创建table，schem
原创
2024-05-11 11:02:47
90阅读
# 在 dbt 中使用 Hive 的完整指南
## 引言
在现代数据工程中，dbt（data build tool）是一个非常流行的工具，用于数据建模和转化。Hive 是一个数据仓库软件，它提供了数据的查询和分析能力。将这两个工具结合起来，可以为数据团队创建一个强大的数据处理流程。接下来，我将带你一步一步实现 dbt 与 Hive 的集成，确保你能够顺利地开始使用这两个工具。
## 实现流程
# 实现"dbt连接hive"的步骤
## 流程概述
以下是实现"dbt连接hive"的步骤概览：
| 步骤 | 操作 |
| --- | --- |
| 1 | 安装dbt |
| 2 | 配置dbt项目 |
| 3 | 安装Hive驱动 |
| 4 | 配置dbt连接Hive |
| 5 | 验证连接 |
接下来，我将逐步指导你完成每个步骤，并提供所需的代码和注释。
## 1. 安装
原创
2023-09-27 13:45:05
389阅读
macro是SQL的片段，可以像模型中的函数一样调用。macro可以在模型之间重复使用SQL，以符合DRY（不要重复自己）的工程原理。 此外，共享包可以公开您可以在自己的dbt项目中使用的macro。 要使用macro，macro-paths请在dbt_project.yml文件中添加配置条目。ma
原创
2021-07-18 15:23:26
837阅读
dbt-duckdb 是一个dbt 扩展，功能很强大，同时社区也有相关的文章，使用
原创
2023-08-13 07:06:56
608阅读
dbt-language-server fivetran 提供的dbt 语言工具 包含的特性 查询预览 sql to ref 的转换 异常高光 自动完成 函数签名帮助 跳
原创
2024-01-28 20:03:23
70阅读
dbt-jsonschema是dbt 官方开发的一个方便schema check 的工具，目前主要支持json 以及yaml 格式的check 同时官方也有一个60s 的
原创
2024-02-19 16:56:15
25阅读
dbt-fusion 是基于rust 开发的下一代dbt engine，性能上会比以前基于python的快不少，同时应该可以更好的和数据分析周边的工具集
# 共享Macros项目：利用DBT实现数据共享和重用
## 简介
在数据分析和处理过程中，一些数据处理逻辑可能会被多次使用，为了避免重复编写相同的代码并降低维护成本，我们可以使用DBT项目中的Macros功能来实现数据处理逻辑的共享和重用。本文将介绍如何在DBT项目中使用Macros来实现数据处理逻辑的共享和重用，并提供示例代码和流程图进行说明。
## Macros概述
在DBT项目中，
原创
2024-06-02 05:31:37
73阅读
dbt 团队提供了presto 的adapter同时也是一个不错的的参考实现，可以学习 当前dbt presto
原创
2021-07-19 13:57:39
274阅读
DBMS_SQL允许我们对动态游标中的列进行描述，以记录的关联数组形式返回每列的信息。该功能为通用游标处理代码提供了可能性。当我们调用该程序时，需要声明基于DBMS_SQL.DESC_TAB集合类型的PL/SQL集合，（或者DESC_TAB2，如果我们的查询返回长度大于30字符的列名称）。我们可以使用集合方法遍历该表，并提取有关该游标的所需信息。以下匿名块显示了在使用该内置功能时的基本步骤：DEC
转载
2024-01-04 22:06:02
69阅读
dbca建库时报错DBT-10328 DBT-10317
原创
2024-07-23 18:14:32
550阅读
dbt 0.14.0 在最近已经发布了，dbt server 的还是很不错的特性，以下安装试用下几个新功能 环境准备 安装 如果没有安装的： pip install dbt 已经安装的： pip install -U dbt 如果没有安装的： pip install dbt 已经安装的： pip i
原创
2021-07-19 13:57:41
249阅读
