マクロ - dbt_utils.union_relations の使い方が間違っていますが、その方法/理由がわかりません?

私は新しい DBT ユーザーで、非常に素晴らしいことですが、union_relations マクロで問題が発生しています。この関数にリレーションを供給していますが、コンパイル/実行クエリではリレーションから列が見つかりません。

実行しているコードは次のとおりです。

{{dbt_utils.union_relations(relations=[ref('transform_hist_ca_map_stu_obj_assessment'), ref('transform_hist_sc_map_stu_obj_assessment')])}}


)
select *
from conformed_obj_assessment
where student_assessment_identifier is not null
and assessment_identifier is not null
and identification_code is not null
and student_unique_id is not null
and performance_level is not null

そして、これが私が受け取るエラーです: 「from」またはその近くで構文エラーが発生しました。行 1706: __dbt__CTE__transform_hist_ca_map_stu_obj_a から... ^ target/run/rally_dw/conformed/conformed_student_objective_assessment.sql でコンパイルされた SQL

基本的に、最初の列は DBT で生成された列で、その後にリレーションからの列があるはずですが、何らかの理由でこれらの列が取り込まれません。これは、必要なリレーションが原因なのかどうか疑問に思っています。から引き出すあまりにも一時的で、具体化されていないので、それが問題を引き起こしているのではないかと思います。これはコンパイルされた SQL で、CTE はデータを返しますが、何らかの理由で最後の CTE に取り込まれていません。

  create  table "dashboarding"."dev_em_conformed"."conformed_student_objective_assessment__dbt_tmp"
  as (
    
with  __dbt__CTE__historical_ca_map_stu_obj_assessment as (

with hist_ca_map_stu_obj_assess as (
    select * from "dashboarding"."raw_ea"."historical_ca_map_student_obj_assessment"
),
cleaned as (
    select distinct
        source_org,
        assessment_id as assessment_identifier,
        student_assessment_identifier,
        student_unique_id,
        performance_levels  as performance_level,
        scale_score as score,
        assessment_id,
        to_date(test_date, 'YYYY-MM-DD') as test_date,
        identification_code,
        null as parent_objective_assessment_name
    from hist_ca_map_stu_obj_assess
)
select * from cleaned
),  __dbt__CTE__transform_hist_ca_map_stu_obj_assessment as (

with hist_ca_stu_obj_assess as (
    select * from __dbt__CTE__historical_ca_map_stu_obj_assessment
),
final as(
select
    null as source_org,
    student_assessment_identifier,
    assessment_id as assessment_identifier,
    identification_code as identification_code,
    null as school_year,
    student_unique_id,
    null as student_grade_level,
    null as assessment_grade_level,
    NULL as administration_date,
    null as administration_end_date,
    null as objective_assessment_name,
    score,
    performance_level,
    parent_objective_assessment_name,
    null as parent_objective_assessment_id
from hist_ca_stu_obj_assess

)
select * from final
), __dbt__CTE__historical_sc_map_stu_obj_assessment as (

with hist_sc_map_soa as (
    select * from "dashboarding"."raw_ea"."historical_sc_map_student_obj_assessment"
),
cleaned as (
    select distinct
        source_org,
        assessment_id as assessment_identifier,
        student_assessment_identifier,
        student_unique_id,
        performance_levels as performance_level,
        scale_score as score,
        assessment_id,
        to_date(test_date, 'YYYY-MM-DD') as test_date,
        identification_code,
        null as parent_objective_assessment_name
    from hist_sc_map_soa
)
select * from cleaned
),  __dbt__CTE__transform_hist_sc_map_stu_obj_assessment as (

with hist_sc_stu_obj_assess as (
    select * from __dbt__CTE__historical_sc_map_stu_obj_assessment
),
final as(
select
    null as source_org,
    student_assessment_identifier,
    assessment_id as assessment_identifier,
    identification_code as identification_code,
    null as school_year,
    student_unique_id,
    null as student_grade_level,
    null as assessment_grade_level,
    NULL as administration_date,
    null as administration_end_date,
    null as objective_assessment_name,
    score,
    performance_level,
    parent_objective_assessment_name,
    null as parent_objective_assessment_id
from hist_sc_stu_obj_assess

)
select * from final
),  conformed_obj_assessment as(



        (
            select

                cast('__dbt__CTE__transform_hist_ca_map_stu_obj_assessment' as 
    varchar
) as _dbt_source_relation,
                ---NO MORE COLUMNS???

            from __dbt__CTE__transform_hist_ca_map_stu_obj_assessment
        )

        union all
        

        (
            select

                cast('__dbt__CTE__transform_hist_sc_map_stu_obj_assessment' as 
    varchar
) as _dbt_source_relation,
                 ---NO MORE COLUMNS??

            from __dbt__CTE__transform_hist_sc_map_stu_obj_assessment
        )

        


)
select *
from conformed_obj_assessment
where student_assessment_identifier is not null
and assessment_identifier is not null
and identification_code is not null
and student_unique_id is not null
and performance_level is not null

  );

ご意見がございましたら、よろしくお願いいたします。

packages.yml ファイルの内容を共有できますか?それは私の答えを知るのに役立ちます!

2020 年 9 月 3 日 17:18

union_relations マクロは、情報スキーマに格納されているリレーション (テーブル/ビュー) にどの列があるかを認識することに依存しています。このモデルは一時的なものであるため、情報スキーマにはレコードがありません。そのため、次のような SQL が存在します。

select

cast('__dbt__CTE__transform_hist_ca_map_stu_obj_assessment' as 
    varchar
) as _dbt_source_relation,

from __dbt__CTE__transform_hist_ca_map_stu_obj_assessment

少し古いバージョンの dbt-utils を使用していることに気づきました。この問題は修正されていませんが、この問題の処理方法は改善されました (v0.5.0 でリリース)。

dbt-utils の新しいバージョンでは、次のような情報が得られます。

Compilation Error in model test_ephemeral (models/test_ephemeral.sql)

  The `union_relations` macro cannot be used with ephemeral models, as it relies on the information schema.

  `__dbt__CTE__my_ephemeral` is an ephemeral model. Consider making is a view or table instead.` is an ephemeral model. Consider making is a view or table instead.

したがって、(新しい) エラー メッセージが示すように、これを回避する唯一の方法は、上流モデルをビューまたはテーブルにすることです。

1

私も同じように考えましたが、これが間違った考えではないという確認を得られたのは良いことです。ご協力ありがとうございます!

2020 年 9 月 3 日 18:10