めも: dbt-athena 触ってみた

dbt AWS

資料

やってみた

大前提: dbt-athena は dbt Cloud で実行できない
ソース: https://qiita.com/n-gondo123/items/34bb07a0b2b5333bdc34#dbt-athena%E3%81%A8%E3%81%AF

Cloud のアカウントを作ってみたけど UI 的に community packages を入れる方法が見つからなかったので、2024年1月もそうっぽい。

作らなきゃいけないもの

  1. Athena が query-results を書き込む S3 bucket を用意 → s3_staging_dir
  2. dbt が table データを書き込む S3 bucket を用意 → s3_data_dir
  3. Athena に model を作るモトの table を作成 (CSV からつくるなら、CSV ファイルと CSV ファイルを入れる bucket も必要)

1 にはこういう感じでデータが入る

2 については、 +materialized: table にしないとデータが入らなそう? view にして dbt run をしても何もはいらなかった

bucket の中身を見るとこんな感じで、

bucket の構造は s3://<bucket>/<schema>/<table>/<file>

<bucket>
  ┣ <schema>
    ┣ <table>
      ┣ <file>

となっていたけど、この file の中身がなにかはよくわからなかった (テーブルのデータというのはわかるけど)

リソースの全体像はこう