契約期間

即日（ASAP）～長期 ※契約リードタイムにより4月開始の可能性あり。

作業時間

要相談

作業内容

・本プロジェクトは、20年ぶりに刷新された石油会社の基幹DWHシステムにおいて、 新アーキテクチャへの移行後の運用保守体制を強化・安定化させるミッションです。 ・Databricksのメダリオンモデル（Bronze/Silver/Gold）を用いた高度なデータ加工 パイプラインの運用を主軸とし、障害調査やパフォーマンス改善、小規模開発を通じて、 ミッションクリティカルなデータ基盤を支えていただきます。 ＜業務内容＞ ・AzureDatabricksを用いたDWH、および周辺ETLシステムの障害調査と原因究明 ・基幹システムからのデータ連携（固定長・可変長ファイル）に伴うデータ加工処理の監視・保守 ・DomoCloudAmplifierを経由したDomo環境へのデータ供給およびETLプロセスの運用支援 ・運用フェーズにおける問い合わせ対応、プログラム改修、および機能追加等の小規模開発 ・AzureDataFactoryやStorageAccount（DataLake）等を用いたデータパイプラインの管理 ・SystemWalkerを用いたジョブ管理、およびWindowsサーバーOSレイヤーの運用保守

必須スキル

（全て保有は難しいので、ある程度のカバーでＯＫ） ・Databricks設計・開発・運用・保守の経験（ここはマストになります） ・クラウド（Azure）運用・保守・構築・設計の経験 ・DWH・ETLシステムの運用・保守・構築の経験 ・AzureDataFactory設計・開発・運用・保守の経験 ・StorageAccount（DataLake）運用・保守の経験（ログやIFファイルの確認等） ・ジョブ管理ツール運用・保守の経験（SystemWalkerOperationManager） ・OS（Windows）運用・保守・構築・設計の経験

歓迎スキル

・UnityCatalog（テーブル・アクセス管理）の運用・保守経験 ※データカタログ・リネージ機能は本運用保守要件の対象外 ・PySpark、SQL設計・開発経験 ・SQLDatabase運用・保守経験 ・SQLDatabaseストアドプロシージャ設計・開発経験 ・GitHubの運用・保守経験

環境

----

精算幅

要相談

こだわり条件： 小規模開発 システムエンジニア(SE) プロジェクトリーダー(PL) 保守/運用