本稿では、Notebookの本番化という共通課題に対するDatabricks LakeflowとNetflix Metaflowの2つのアプローチを、設計思想の違いから比較しました。 *このブログは著者の個人的見解であり、所属する会社の公式見解ではありません。* データサイエンティストが直面 ...

『Databricks──ゼロから触ってわかった！Databricks非公式ガイド』 クラウド時代の分析基盤を “体験的” に学べるベストセラー入門書。 Databricksの操作、SQL／DataFrame、Delta Lakeの基本、ノートブック操作などを 初心者でも迷わず進められる構成で解説しています ...

ログインして、InfoQのすべての体験をアンロックしましょう！お気に入りの著者やトピックの最新情報を入手し、コンテンツと交流し、限定リソースをダウンロードできます。 クラウドコンピューティングの登場以降、ソフトウェア業界は大きな変革の中に ...

No exemplo acima, eu faço toda a minha etapa de “ETL” de forma sequencial, visto que, em meu caso, os arquivos eram disponibilizados no SFTP de 1 a 3 vezes ao dia (às vezes muito mais, que é onde ...