顧客内　データパイプライン移行支援

募集要項

案件内容

大手企業向けデータ基盤において、既存のSparkパイプラインをDatabricksへ移行するプロジェクトを担当します。既存Sparkパイプラインの現状調査・仕様整理、Databricksへのetl移行・実装、シルバー/ゴールドレイヤーのデータ変換処理の開発・テスト、移行後の動作確認・品質担保を行います。

必須スキル

・DWH／データパイプライン開発・運用経験 ・Pythonを用いたデータ処理の実務経験 ・SQLによるデータ加工・集計の実務経験 ・Apache Spark / PySpark　経験 ・Databricks　　　　　　　経験 ・複数名チームでのプロジェクト参画経験