Senior Data Engineer - IT Contracting

O projekcie Naszym klientem jest globalna firma farmaceutyczna, która rozwija zaawansowane rozwiązania data & analytics wspierające procesy biznesowe i regulacyjne na skalę międzynarodową. Poszukujemy eksperta, który dołączy do zespołu odpowiedzialnego za budowę i rozwój strategicznej platformy danych w środowisku Azure Databricks.

Branża: Technology & Telecoms

Obszar: IT Data Analysis

Oferujemy

• Stawka do 34 EUR/h
• Praca w pełni zdalna
• Start projektu: 1 listopada
• Długoterminowy projekt do 31.10.2027
• Praca w międzynarodowym środowisku przy rozwoju strategicznej platformy danych
• Realny wpływ na rozwój nowoczesnych rozwiązań opartych o Azure Databricks i architekturę Lakehouse
• Umowa B2B via Michael Page

Zakres obowiązków

• Projektowanie, rozwój oraz utrzymanie wydajnych procesów przetwarzania danych w środowisku Azure Databricks.
• Tworzenie i rozwijanie pipeline'ów danych z wykorzystaniem Python, PySpark, Spark SQL oraz Delta Lake.
• Realizacja procesów integracji danych pochodzących z interfejsów API, plików JSON, usług Azure Storage oraz systemów korporacyjnych.
• Implementacja i rozwijanie architektury danych opartej na modelu Bronze, Silver, Gold.
• Transformacja, standaryzacja oraz przygotowywanie danych do dalszego wykorzystania przez odbiorców biznesowych i systemowych.
• Budowanie mechanizmów kontroli jakości danych, walidacji, uzgadniania danych oraz monitoringu procesów przetwarzania.
• Tworzenie automatycznych testów danych oraz wdrażanie operacyjnych mechanizmów kontroli jakości.
• Optymalizacja wydajności środowiska, procesów przetwarzania oraz strategii partycjonowania danych.
• Implementacja procesów CI/CD dla kodu i rozwiązań data engineeringowych.
• Tworzenie mechanizmów monitorowania, obsługi błędów oraz ponownego przetwarzania danych.
• Utrzymywanie wysokich standardów zarządzania danymi, zgodności, identyfikowalności i audytowalności procesów.
• Współpraca z architektami, interesariuszami biznesowymi oraz zespołami technologicznymi przy projektowaniu i wdrażaniu nowych rozwiązań

Wymagania

• Wieloletnie doświadczenie na stanowisku Data Engineer lub w podobnej roli.
• Bardzo dobra znajomość Azure Databricks.
• Praktyczne doświadczenie w pracy z Python, PySpark oraz Spark SQL.
• Znajomość Delta Lake i architektury Lakehouse.
• Doświadczenie w projektowaniu i rozwijaniu rozwiązań opartych na modelu Bronze, Silver, Gold.
• Umiejętność budowania procesów integracji danych z wykorzystaniem API, plików oraz usług chmurowych Azure.
• Doświadczenie w pracy z ADLS Gen2 oraz usługami przechowywania danych w ekosystemie Azure.
• Znajomość zagadnień związanych z jakością danych, walidacją schematów, uzgadnianiem danych oraz monitorowaniem procesów.
• Doświadczenie w zarządzaniu metadanymi i śledzeniu pochodzenia danych (data lineage).
• Praktyczna znajomość Unity Catalog lub podobnych rozwiązań z obszaru governance.
• Umiejętność optymalizacji wydajności procesów i dużych wolumenów danych.
• Doświadczenie w implementacji CI/CD oraz automatycznych testów dla rozwiązań data engineeringowych.
• Doświadczenie w środowiskach o wysokich wymaganiach dotyczących zgodności, jakości i kontroli danych.
• Bardzo dobra znajomość języka angielskiego.

Mile widziane

• Doświadczenie z Databricks Workflows oraz Databricks Jobs.
• Znajomość Delta Live Tables lub Lakeflow.
• Doświadczenie związane z przetwarzaniem metadanych dokumentów oraz zarządzaniem referencjami do zasobów elektronicznych.
• Doświadczenie w projektach wymagających pełnej identyfikowalności, audytowalności oraz kontrolowanych procesów wdrożeniowych.

Oferujemy

• Private healthcare