電通デジタルでバックエンド開発をしている松田です。弊社ではデータパイプラインの構築や管理のために主にApache Airflowを利用しています[1, 2]。 本記事では、AirflowのOperatorを使ってタスク実行環境を分離する方法についてご紹介します。 タスク実行環境を ...
電通デジタルでデータサイエンティストを務めている吉田です。 普段はウェブログデータの分析や予測モデルの構築、ワークフローの実装などを担当しています。 本記事ではAirflowのDAGの実行状況をSlackに通知してモニタリングする際の実装例とTipsについて ...