Senior Data Engineer

Kim jesteśmy?

Lumicode Sp. z o.o. jest częścią Grupy Pentacomp, która od blisko 30 lat dostarcza rozwiązania IT i usługi technologiczne dla największych przedsiębiorstw oraz instytucji sektora publicznego.

Realizujemy projekty wspierające cyfrową transformację naszych klientów, łącząc doświadczenie z nowoczesnymi technologiami.

O projekcie

Dołączysz do międzynarodowego projektu realizowanego dla firmy z branży turystycznej, specjalizującej się w organizacji rejsów rzecznych, morskich i oceanicznych oraz wypraw ekspedycyjnych. Projekt koncentruje się na rozwoju i modernizacji platformy danych opartej na technologiach Microsoft Azure, Azure Databricks i architekturze Lakehouse.

Wymagania

• Praktyczna znajomość Apache Spark, Python oraz SQL
• Doświadczenie w pracy z platformą Microsoft Azure, w szczególności Azure Databricks, Azure Data Factory i Azure Data Lake
• Znajomość usług Azure Synapse Analytics oraz Azure Data Explorer
• Doświadczenie w projektowaniu, rozwijaniu i optymalizacji procesów ETL/ELT
• Znajomość architektury Data Lakehouse i doświadczenie w pracy z rozwiązaniami Databricks
• Praktyczna znajomość Delta Live Tables (DLT) oraz Unity Catalog
• Doświadczenie w implementacji procesów CI/CD z wykorzystaniem Azure DevOps
• Znajomość zagadnień związanych z automatyzacją infrastruktury, monitoringiem i logowaniem
• Umiejętność optymalizacji wydajności, zapewniania jakości danych oraz rozwiązywania problemów w środowiskach produkcyjnych.
• Zdolność do współpracy z zespołami technicznymi i biznesowymi przy realizacji projektów danych

Zakres obowiązków

• Rozwój i utrzymanie nowoczesnych rozwiązań z obszaru inżynierii danych w środowisku Azure, obejmujących Databricks, Synapse Analytics oraz architekturę Data Lakehouse
• Projektowanie, wdrażanie i optymalizacja przepływów ETL/ELT, umożliwiających efektywną integrację i przetwarzanie danych z różnych źródeł
• Implementacja rozwiązań przetwarzania danych z wykorzystaniem Python, SQL i Apache Spark
• Rozwijanie i utrzymywanie pipeline’ów danych, workflowów Databricks oraz rozwiązań opartych na Delta Live Tables
• Udział w modernizacji platformy danych, migracjach technologicznych oraz wdrażaniu Unity Catalog
• Tworzenie i rozwój frameworków przetwarzania danych opartych na metadanych oraz rozwiązań wspierających orkiestrację procesów
• Współpraca z Data Architectami, zespołami platformowymi i analitykami w zakresie projektowania oraz wdrażania rozwiązań zgodnych z wymaganiami biznesowymi i standardami architektonicznymi
• Dbanie o jakość, bezpieczeństwo, spójność i dostępność danych oraz niezawodność całej platformy
• Analizowanie i rozwiązywanie problemów występujących w środowisku produkcyjnym, identyfikowanie ich przyczyn oraz wdrażanie odpowiednich usprawnień
• Rozwijanie procesów CI/CD oraz automatyzacja wdrożeń, infrastruktury i zadań operacyjnych
• Konfiguracja i rozwój mechanizmów monitorowania, logowania oraz kontroli działania procesów danych
• Optymalizacja wydajności przetwarzania, wykorzystania zasobów i kosztów utrzymania platformy
• Udział w przeglądach technicznych, rozwijaniu standardów inżynierskich oraz wdrażaniu dobrych praktyk w zakresie zarządzania danymi (data governance)
• Wspieranie zespołu poprzez dzielenie się wiedzą i mentoring techniczny
• Dostarczanie skalowalnych rozwiązań danych wspierających raportowanie, analitykę oraz inicjatywy z obszaru AI/ML