Data Engineer / データエンジニア

業務内容

• PayPay銀行のデータエンジニアリング領域の設計・開発・運用を主導
• Databricks・AWS DMS・Terraformを用いた堅牢でスケーラブルなデータ取り込みパイプラインの設計・実装・運用
• Spark/Python/SQLを使った大規模データ処理ワークフローの開発
• 銀行サービス・決済システム・内部アプリ・外部データ源を結ぶデータ連携基盤の設計・構築
• CDC・ストリーミング・バッチを組み合わせたパイプラインの最適化
• Databricks Lakehouse・Unity Catalogを活用したデータレイクハウスとデータカタログの整備・運用
• データ品質・メタデータ・データリネージ・アクセス制御・監査ログなどのデータガバナンス機能の設計・運用
• パフォーマンス改善・コスト最適化・信頼性向上、SRE/ observabilityの実践
• IaC（Terraform）による自動化・標準化、共通フレームワーク・CI/CDの整備
• プロダクト・アナリティクス・リスク管理・セキュリティ・コンプライアンス部門と連携してデータ活用を推進
• 金融機関としてのセキュリティ・個人情報保護・内部統制を遵守した安定運用

技術スタック

必須スキル

• AWSクラウドの実運用経験
• Databricks/Delta Lake/Apache Sparkを用いた大規模データ処理
• Python/PySpark/SQLでの開発
• Airflow/Dagster/Prefectなどのワークフローオーケストレーション
• AWS上のクラウドシステム開発・運用
• Terraformを用いたインフラ構築・運用
• 大規模データパイプラインの性能・信頼性・可用性設計・改善
• 日本語ビジネスレベル

歓迎スキル（該当する場合）

• 金融領域でのデータ基盤経験
• Kafkaなどのイベント駆動・ストリーミング
• Canal/Debezium/MaxwellなどのCDCツール
• Unity Catalog/AWS Lake Formationなどデータカタログ・権限管理
• Prometheus/Grafana/Datadog/CloudWatchなどの観測強化
• GitHub Actions/JenkinsなどのCI/CD
• Kubernetes/EKS/ArgoCD
• データ品質・リネージ・MDM・データ契約、セキュリティ設計
• チームリード・アーキテクチャレビュー・メンタリング
• ビジネス英語
• AI支援開発・オープンソース貢献

キャリア成長観点

• 金融機関とFinTechの両方を横断するデータ基盤を“プロダクト”として設計・運用する経験が積める
• 高信頼性・ガバナンス・監査性を担保しつつDatabricks Lakehouseなど最新技術を活用、データ活用を組織横断で加速
• 内製化によるプロダクト開発力・マーケティング力・コーポレート基盤の強みを活かし、長期的に拡張可能なアーキテクチャ設計・運用モデルを習得
• アーキテクチャ設計・技術選定・メンタリングなどリーダーシップ領域の機会が多く、AI支援開発の導入など先端技術にも触れられる