Data Engineer (Spark)

Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark), który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, oraz ich synchronizację z systemami źródłowymi w branży bankowej.

Osoba na tym stanowisku będzie również rozwijać i utrzymywać architekturę Data Lakehouse, obejmującą przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (bronze, silver, gold), z wykorzystaniem Apache Spark oraz Apache Iceberg. Praca zdalna.

Zakres obowiązków

• Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych.
• Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów.
• Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych.
• Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg.
• Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych.
• Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution.
• Monitorowanie procesów przetwarzania danych oraz wdrażanie rozwiązań observability z wykorzystaniem Prometheus i Grafana.
• Automatyzacja budowania, testowania i wdrażania aplikacji Spark z wykorzystaniem Jenkins oraz, w zależności od środowiska, Dockera i Kubernetes.
• Diagnozowanie problemów związanych z jakością, spójnością i aktualnością danych oraz opóźnieniami w przetwarzaniu.
• Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
• Współpraca z Data Engineerami, analitykami biznesowymi, testerami i zespołem DevOps w metodykach Agile.
• Udział w code review, dzielenie się wiedzą oraz wspieranie rozwoju technicznego zespołu.

Wymagania obowiązkowe (must-have)

• Minimum 5 lata praktycznego doświadczenia jak Data Engineer lub Big Data
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
• Doświadczenie w odczycie i zapisie danych w MongoDB z wykorzystaniem MongoDB Spark Connector.
• Praktyczne doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
• Bardzo dobra znajomość języka Python i SQL.
• Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
• Znajomość testowania aplikacji Spark, w tym testów jednostkowych i integracyjnych.
• Doświadczenie w monitorowaniu procesów danych z wykorzystaniem Prometheus i Grafana.
• Znajomość metodyk Scrum lub Kanban oraz narzędzi Jira i Confluence.

Dodatkowym atutem będzie

• Doświadczenie w pracy z Delta Lake lub Apache Hudi.
• Znajomość Kubernetes, Dockera i Spark Operator.
• Doświadczenie w implementacji rozwiązań observability z wykorzystaniem OpenTelemetry lub Dynatrace.
• Znajomość zagadnień data quality, data lineage oraz definiowania SLA/SLO dla procesów danych.
• Doświadczenie w optymalizacji kosztów i wydajności przetwarzania dużych wolumenów danych.