Senior Data Engineer

Dla naszego klienta poszukujemy doświadczonego Data Engineera, który dołączy do projektu z obszaru R&D i będzie pracować przy rozwoju oraz utrzymaniu procesów przetwarzania danych.

Szukamy osoby z minimum 7-letnim doświadczeniem w Data Engineering, ETL oraz Data Warehouse development i modeling, bardzo dobrą znajomością SQL oraz praktycznym doświadczeniem z AWS, dbt, Airflow i Pythonem.

• Tryb pracy: 100% zdalnie
• Forma współpracy: B2B
• Doświadczenie: min. 7 lat

Wymagania

• Minimum 7 lat doświadczenia w Data Engineering, ETL oraz Data Warehouse development i modeling
• Bardzo dobra znajomość SQL, w tym transformacja i walidacja danych, reconciliation, troubleshooting oraz optymalizacja zapytań
• Doświadczenie w dimensional data modeling, w tym Star Schema, Snowflake Schema, Fact and Dimension Modeling oraz Slowly Changing Dimensions
• Praktyczne doświadczenie z Pythonem w obszarze Data Engineering lub automatyzacji workflow
• Doświadczenie z dbt
• Doświadczenie z AWS, w szczególności S3, Glue, Lambda i Redshift
• Doświadczenie z Apache Airflow, w tym tworzeniem DAG-ów i orkiestracją workflow
• Doświadczenie w budowie i utrzymaniu produkcyjnych pipeline’ów ETL/ELT
• Znajomość zagadnień data quality, error handling i production support
• Doświadczenie w tworzeniu diagramów architektury i dokumentacji technicznej
• Znajomość Git lub podobnych narzędzi kontroli wersji

Zakres obowiązków

• Rozwój i utrzymanie pipeline’ów danych R&D
• Analiza plików źródłowych, wymagań biznesowych, mappingów i istniejących konfiguracji pipeline’ów
• Tworzenie i utrzymanie diagramów architektury oraz conceptual, logical i physical data models
• Projektowanie modeli danych w oparciu o Star Schema i Snowflake Schema
• Budowa i optymalizacja transformacji danych z wykorzystaniem dbt
• Rozwój logiki ingestion, transformation i publish z wykorzystaniem YAML, AWS S3, Airflow, SQL i Redshift
• Wsparcie architektury Medallion
• Implementacja data quality checks i exception handling
• Obsługa zmian w schematach danych, nowych kolumn, typach danych, brakujących polach i formatach plików
• Walidacja i reconciliation danych source-to-target przed wdrożeniem produkcyjnym
• Troubleshooting pipeline’ów, brakujących lub opóźnionych plików oraz problemów z danymi na produkcji
• Udział w code review, testach, deploymentach i aktualizacji dokumentacji
• Współpraca z biznesem, vendorami i zespołami technicznymi przy doprecyzowaniu wymagań i rozwiązywaniu problemów
• Chcesz dowiedzieć się więcej lub od razu aplikować na to stanowisko?

Po więcej informacji zapraszam do wiadomości pod adresem marta.rys@gsservices.pl