データプラットフォームエンジニア / Data Platform

業務内容

• データ収集と統合：異なるデータソースからのETLパイプラインの設計・実装
• リアルタイムデータ処理：KafkaとFlinkを用いたリアルタイム処理の最適化と運用
• スケーラビリティとパフォーマンス：インフラ設計・ハードウェア選定などを専門チームと協業して推進
• データ品質とガバナンス：データの一貫性・正確性・完全性を担保するツール・プロセスの導入
• データセキュリティとプライバシー：暗号化、アクセス制御、コンプライアンス対応
• AI/MLの統合と運用：機械学習プラットフォームの構築・運用、MLOpsの導入

技術スタック

必須スキル

• 分散システムを利用したデータ基盤の構築・運用経験（1年以上）
• Python・Java・Goのいずれかの実務経験（1年以上）
• Kubernetes、Dockerを用いたミドルウェア・サービスの開発・運用経験

歓迎スキル（該当する場合）

• 100台規模以上の分散システムでの開発・運用経験
• Hadoop/Kafka/Flink/Druidなどを用いたアプリ開発・運用経験
• エコシステムの運用保守設計・運用改善経験
• Kubernetesクラスタの設計・運用経験
• Webアプリの開発・運用経験
• CI/CDによる自動化の経験
• MLシステム開発やAI開発経験（GCP/AWS）
• オープンソースへの貢献

キャリア成長観点

• 大規模データ基盤の設計・運用を通じ、スケーラビリティ・信頼性・データガバナンスの深い知識を獲得
• Hadoop/Kafka/Flink/Druidなどの先端エコシステムとAIプラットフォーム/MLOpsの実装機会
• データサイエンティストと協業し、全社横断のデータ活用を推進する能力を育成
• データプラットフォーム領域の専門性を軸に、将来的にデータエンジニア/インフラ/SRE/AI領域のリーダーへ成長可能