A self-contained demo of a modern ELT stack for an e-commerce dataset: Python ingestion → PostgreSQL warehouse → dbt transformations & tests → Airflow orchestration → Docker. The whole stack runs ...

「毎日3時間、ひたすらGoogle検索してスプレッドシートにコピペするだけの仕事に、僕の人生の価値はあるんだろうか？」 ぶっちゃけ、そう思ったことはありませんか？ 実は、僕も最初の2年間は、まさにその「リサーチ地獄」の中にいました。 競合他社の ...

To design and build a fully managed and containerized ETL + Analytics pipeline that has an Extract with Python, Load into a Staging Database and then Transform with DBT. Ingests raw CSV sales data.

前回の記事でPostgreSQLのサーバー立ち上げとテーブル作成までできたので、今回はPythonのプログラムからDB操作をします。 1.Pythonライブラリの準備 PythonからPostgreSQLの操作をするための準備をしていきます。 主にこちらの記事を参考にさせていただきました。