Senior Data Engineer (ETL / GCP)

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.

Senior Data Engineer (ETL / GCP)

Szczegóły współpracy

• Model współpracy: Hybryda - Warszawa
• Forma współpracy: B2B
• Stawka: 160 PLN/h netto
• Okres współpracy: ponad 12 miesięcy

O projekcie Poszukujemy Senior Data Engineera do zespołu, który rozwija procesy zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud i systemów kampanijnych. Budujemy rozwiązania, które przetwarzają duże wolumeny danych w trybie batch i w czasie zbliżonym do rzeczywistego. Z naszych danych powstają datamarty, analizy, raporty, segmentacje klientów oraz spersonalizowane oferty i kampanie. Jeśli chcesz budować niezawodne pipeline’y danych w środowisku hybrydowym i chmurowym, zapraszamy do kontaktu!

Twoje zadania

• Projektowanie, budowa i rozwój pipeline’ów ETL/ELT działających w trybie batch i streaming.
• Tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake oraz platformę kampanijną.
• Integracja danych z systemów on-premise, chmury GCP, baz danych, plików, API i systemów zdarzeniowych.
• Projektowanie logicznych i fizycznych modeli danych oraz przygotowywanie warstw danych i datamartów tematycznych.
• Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych.
• Programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście.
• Budowa przepływów zdarzeniowych z wykorzystaniem Kafki lub Pub/Sub.
• Dbanie o jakość, kompletność, spójność i terminowość danych.
• Optymalizacja wydajności procesów i kosztów przetwarzania w GCP.
• Wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania.
• Przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania.
• Testy, wsparcie wdrożeń, diagnozowanie incydentów i utrzymanie rozwiązań.
• Tworzenie dokumentacji technicznej i rozwój rozwiązań zgodnie z podejściem DevSecOps.

Wymagania

• Doświadczenie na poziomie senior w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych.
• Dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.
• Praktyczna znajomość BigQuery: projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów.
• Doświadczenie w programowaniu w Pythonie i/lub Ruście.
• Znajomość przetwarzania danych w trybie batch i streaming.
• Znajomość architektury sterowanej zdarzeniami (Kafka lub Pub/Sub).
• Doświadczenie w projektowaniu logicznych i fizycznych modeli danych.
• Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL.
• Znajomość Linuxa w stopniu pozwalającym na samodzielną pracę i diagnozowanie problemów.
• Umiejętność analizy wymagań biznesowych i przekładania ich na rozwiązania techniczne.

Mile widziane

• Doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage.
• Znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow.
• Doświadczenie z Kubernetes, Dockerem i CI/CD.
• Znajomość Informatica PowerCenter lub innych narzędzi ETL.
• Doświadczenie w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym.
• Znajomość systemów kampanijnych, segmentacji klientów lub marketing automation.
• Doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability.
• Znajomość zagadnień bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych.
• Znajomość AutomateNOW.

Czego szukamy poza technologią?

• Samodzielności, odpowiedzialności i konsekwencji w realizacji zadań.
• Dbałości o jakość, niezawodność i utrzymywalność rozwiązań.
• Dobrej organizacji pracy i umiejętności szybkiego przyswajania wiedzy.
• Umiejętności efektywnej współpracy w zespole.
• Doświadczenia we współpracy z klientem biznesowym.
• Dobrych umiejętności komunikacyjnych i analitycznego podejścia do problemów.