Senior Data Engineer

Kim jest H2B Group?

Jesteśmy firmą konsultingową, która pomaga klientom w automatyzacji procesów biznesowych przy pomocy AI, a specjalistom IT rozwijać karierę w modelu B2B. Oferujemy projekty z branż takich jak fintech, medtech, edutech czy automatyka przemysłowa. Dzięki ścisłej współpracy wspieramy rozwój naszych klientów poprzez dostarczanie szybkich i mierzalnych efektów, jednocześnie zapewniając specjalistom IT możliwości rozwoju kariery i zdobywania cennego doświadczenia.

Dlaczego warto z nami współpracować?

Elastyczność - Wybierasz projekty dopasowane do swoich umiejętności i zainteresowań, z możliwością zmiany w ramach naszej firmy lub grupy Euvic, której jesteśmy częścią.

Przejrzystość - Masz jasne zasady współpracy i pełną transparentność wynagrodzenia oraz warunków.

Szybkość działania - Dzięki naszej efektywności szybko znajdziesz lub zmienisz projekt, który idealnie odpowiada Twoim kompetencjom.

Możliwość rozwoju - Pracujesz przy innowacyjnych projektach, rozwijając kluczowe kompetencje i zdobywając cenne doświadczenie.

Senior Data Engineer (Branża Travel & Cruise)

Informacje podstawowe

• Rola: Senior Data Engineer
• Branża klienta: Turystyka morska i rejsy wycieczkowe - skala globalna, zarządzanie rozbudowaną flotą i dużymi wolumenami danych.
• Stawka: 100 - 140 PLN/h netto B2B
• Start: ASAP
• Długość kontraktu: Długoterminowy (Long-term)
• Lokalizacja: Zdalnie (Global)
• Język: Język angielski na poziomie minimum B2+ / C1 (praca w środowisku międzynarodowym)

Profil projektu i cele

Projekt realizowany dla globalnego lidera branży wycieczkowej, operującego flotą statków na całym świecie. Rola polega na projektowaniu, rozbudowie i optymalizacji skalowalnej platformy danych opartej o chmurę Azure, ze szczególnym naciskiem na architekturę Lakehouse oraz ekosystem Databricks. Inżynier będzie wspierał procesy operacyjne floty, logistykę, finanse, analitykę zarządczą oraz inicjatywy AI/ML.

Kluczowe obowiązki

• Projektowanie platformy Azure Lakehouse: Rozwój i utrzymanie skalowalnych rozwiązań danych w środowiskach Azure Databricks, Azure Synapse Analytics i Data Lake.
• Potoki ETL/ELT: Implementacja wydajnych potoków przetwarzania danych (batch oraz streaming) z wielu domen biznesowych przy użyciu Pythona, SQL i Apache Spark.
• Modernizacja i migracje platformowe: Wdrażanie i standaryzacja Unity Catalog, podnoszenie wersji komponentów platformy oraz wsparcie transformacji w stronę architektury Data Lakehouse.
• Databricks Workflows i DLT: Budowa i utrzymanie przepływów orkiestracji Databricks Workflows, Delta Live Tables (DLT) oraz frameworków sterowanych metadanymi (metadata-driven).
• Niezawodność i jakość danych: Zapewnienie poprawności, spójności i bezpieczeństwa danych, optymalizacja struktur magazynowania oraz rozwiązywanie incydentów produkcyjnych (root cause analysis).
• Optymalizacja wydajności i kosztów (FinOps): Optymalizacja zużycia zasobów obliczeniowych Spark, optymalizacja zapytań SQL i zarządzanie kosztami infrastruktury chmurowej.
• Automatyzacja i CI/CD: Współtworzenie potoków CI/CD w Azure DevOps, automatyzacja infrastruktury (IaC), monitorowanie i logowanie metryk systemowych.
• Współpraca i mentoring: Ścisła współpraca z architektami danych, analitykami i zespołami biznesowymi; promowanie dobrych praktyk inżynierii oprogramowania w zespole danych.

Wymagania techniczne

• Bardzo dobra znajomość Apache Spark oraz architektury Lakehouse.
• Zaawansowana biegłość w językach Python i SQL.
• Doświadczenie z chmurą Microsoft Azure: Azure Databricks, Azure Data Factory (ADF), Azure Data Lake Storage (ADLS Gen2).
• Praktyczne doświadczenie z Delta Live Tables (DLT) oraz Unity Catalog.
• Znajomość Azure Synapse Analytics lub Azure Data Explorer.
• Praktyka w budowie i utrzymaniu procesów CI/CD (Azure DevOps, Git).
• Doświadczenie z automatyzacją infrastruktury, monitorowaniem i audytem logów.
• Podstawowa znajomość warstwy raportowej (Power BI) pod kątem udostępniania i konsumpcji modeli danych.