Data Engineer

O projekcie Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla wiodących Klientów prowadzących innowacyjne i nowoczesne projekty.

Obecnie, dla naszego Klienta z obszaru bankowości, poszukujemy osoby na stanowisko Project Manager, która podejmie się realizacji oraz nadzoru nad projektami IT.

• Model pracy: hybryda z warszawskiego biura (2x w tygodniu)
• Stawka: 110-130 zł/h netto + VAT B2B
• Przewidywany czas trwania projektu: 12 miesięcy z opcją przedłużenia
• Kontrakt B2B via Devire (110-130zł/h).
• Model hybrydowy (dwa dni w tygodniu z warszawskiego biura).
• Możliwość skorzystania z pakietu benefitów.

Zakres obowiązków

• Projektowanie, implementacja i rozwój procesów Data Engineering na Google Cloud Platform.
• Budowa i rozwój pipeline'ów danych z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub.
• Migracja oraz przebudowa procesów przetwarzania i zasilania danych z Oracle/on-premise do GCP.
• Projektowanie procesów batch i streaming, wraz z mechanizmami walidacji danych, obsługi błędów i ponawiania operacji.
• Projektowanie oraz optymalizacja struktur danych w BigQuery z uwzględnieniem wydajności, skalowalności i kosztów.
• Tworzenie, analiza i optymalizacja zapytań SQL, w tym analiza planów wykonania i identyfikowanie wąskich gardeł przy dużych wolumenach danych.
• Analiza i przebudowa istniejących procesów Informatica PowerCenter oraz ich migracja do rozwiązań docelowych w GCP.
• Implementacja transformacji, walidacji i integracji danych z wykorzystaniem SQL i Python.
• Przygotowywanie modeli danych oraz analiza danych dla Oracle, PostgreSQL i środowiska GCP.
• Prowadzenie analiz technicznych, analizy wpływu i zależności oraz udział w definiowaniu rozwiązań.
• Przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresyjnych i UAT.
• Praca z repozytorium kodu oraz procesami CI/CD zgodnie z podejściem DevOps.

Wymagania

• Gotowość do pracy hybrydowej z Warszawy.
• Minimum 3 lata doświadczenia na stanowisku Data Engineer.
• Praktyczna znajomość GCP, w szczególności BigQuery, Cloud Storage i Pub/Sub.
• Bardzo dobra znajomość SQL oraz doświadczenie z Oracle i dużymi wolumenami danych.
• Doświadczenie w projektowaniu i rozwijaniu procesów ETL/ELT, batch i streaming.
• Praktyczna znajomość Informatica PowerCenter - analiza i modyfikacja procesów ETL.
• Znajomość Python w kontekście przetwarzania i integracji danych.
• Doświadczenie w pracy z Git i CI/CD.
• Umiejętność analizy i optymalizacji procesów przetwarzania danych.

Mile widziane

• Doświadczenie w sektorze bankowym/finansowym.
• Doświadczenie w migracji danych i procesów z Oracle/on-premise do GCP.
• Znajomość PostgreSQL.
• Doświadczenie w migracji procesów Informatica PowerCenter do GCP.
• Znajomość dobrych praktyk w zakresie optymalizacji kosztów i wydajności BigQuery.
• Doświadczenie w tworzeniu dokumentacji technicznej i wsparciu testów.