dbt class 简单说明

原创

rongfengliang 2023-08-08 00:21:35 ©著作权

文章标签 ide 数据仓库参考资料 文章分类 Html/CSS 前端开发

©著作权归作者所有：来自51CTO博客作者rongfengliang的原创作品，请联系作者获取转载授权，否则将追究法律责任

dbt class 可以用来创建数据仓库中的一些对象（比如关系，列）当需要通过高级模式进行模型以及宏构建的时候就比较有用
在不少开源同时也包括官方core 中都有使用到

主要包含的功能

Relation 对象创建
参考(对于在宏中使用 api.Relation.create创建)

{% set relation = api.Relation.create(schema='snowplow', identifier='events') %}

Column 创建

{%- set string_column = api.Column('name', 'varchar', char_size=255) %}

dremio 中的使用

比如buildin 改写的时候

{%- macro ref(model_name) -%}

比如buildin 改写的时候

 {%- macro ref(model_name) -%}
  {%- set relation = builtins.ref(model_name) -%}
  {%- if execute -%}
    {%- set model = graph.nodes.values() | selectattr("name", "equalto", model_name) | list | first -%}
    {%- if model.config.materialized == 'reflection' -%}
      {% do exceptions.CompilationError("Reflections cannot be ref()erenced (" ~ relation ~ ")") %}
    {%- endif -%}
    {%- set format = model.config.format if
      model.config.materialized not in ['view', 'reflection']
      and model.config.format is defined
      else none -%}
    {%- set format_clause = format_clause_from_node(model.config) if format is not none else none -%}
    {%- set relation2 = api.Relation.create(database=relation.database, schema=relation.schema, identifier=relation.identifier, format=format, format_clause=format_clause) -%}
    {{ return (relation2) }}
  {%- else -%}
    {{ return (relation) }}
  {%- endif -%}
{%- endmacro -%}
 
{%- macro source(source_name, table_name) -%}
  {%- set relation = builtins.source(source_name, table_name) -%}
  {%- if execute -%}
    {%- set source = graph.sources.values() | selectattr("source_name", "equalto", source_name) | selectattr("name", "equalto", table_name) | list | first -%}
    {%- set format = source.external.format if
      source.external is defined
      and source.external.format is defined
      else none -%}
    {%- set format_clause = format_clause_from_node(source.external) if format is not none else none -%}
    {%- set relation2 = api.Relation.create(database=relation.database, schema=relation.schema, identifier=relation.identifier, format=format, format_clause=format_clause) -%}
    {{ return (relation2) }}
  {%- else -%}
    {{ return (relation) }}
  {%- endif -%}
{%- endmacro -%}

说明

dbt 还提供了其他一些比较有用的宏，可以进行一些内置功能的改写（可以用来判断对于dbt 兼容的支持）
比如builtins 包含了ref，source，同时adapter 支持了不少功能（具体参考链接），dispatch 使用的地方也
比较多可以进行方便的重定向支持（就是将方法的调用使用其他模块提供的方法进行替换），对于开放三
方模式以及一些高级功能开发的时候比较有用