Data Engineer (AWS)

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.

Tryb usługi: 100% zdalnie Model współpracy: B2B Stawka: 140-165 PLN netto + VAT / h Poziom: Senior / Mid+

O projekcie

Dołączysz do międzynarodowego zespołu rozwijającego nowoczesną platformę danych opartą na AWS, która wspiera produkty cyfrowe i obszary takie jak analityka produktowa, customer engagement, attribution, reporting oraz dane subskrypcyjne i płatnicze.

Platforma wykorzystuje m.in. AWS S3, Redshift, EMR, Glue, Lambda, Step Functions, PySpark, dbt oraz Airflow. Dane są wykorzystywane przez narzędzia takie jak Looker, Segment, Braze, Amplitude i AppsFlyer.

Poszukujemy osoby, która wesprze bieżący rozwój i utrzymanie platformy, a jednocześnie pomoże zwiększyć jej niezawodność, wydajność i efektywność kosztową.

Zakres współpracy

• Rozwijanie i utrzymywanie pipeline'ów danych oraz reagowanie na problemy związane z ich działaniem.
• Projektowanie i rozwój procesów ingestii danych, w tym integracji z bazami Aurora PostgreSQL oraz SQS.
• Budowanie i optymalizacja transformacji danych z wykorzystaniem PySpark i dbt.
• Rozwijanie mechanizmów kontroli jakości danych, monitorowania ich aktualności i niezawodności pipeline'ów.
• Zarządzanie konfiguracją Segment, projektowanie schematów zdarzeń oraz współpraca z zespołami Product i Engineering.
• Zapewnienie spójności danych pomiędzy Redshift a narzędziami Braze, Amplitude, AppsFlyer i Looker.
• Przygotowywanie i udostępnianie danych dla narzędzi zewnętrznych, partnerów oraz zespołów wewnętrznych.
• Rozwijanie istniejących modeli ML, przygotowywanie feature pipelines i zbiorów treningowych oraz wdrażanie modeli z wykorzystaniem AWS SageMaker.
• Wsparcie inicjatyw AI, w tym rozwiązań opartych na LLM, przygotowywania zbiorów ewaluacyjnych i optymalizacji kosztów.
• Optymalizacja wydajności i kosztów Amazon Redshift.
• Rozwijanie infrastruktury jako kodu z wykorzystaniem AWS SAM, CloudFormation lub podobnych rozwiązań oraz CI/CD.
• Modernizacja istniejącej architektury i stopniowe przenoszenie starszych rozwiązań na aktualny stack technologiczny.
• Współpraca z zespołami Analytics, Finance i Product przy definiowaniu oraz standaryzacji metryk biznesowych.
• Rozwijanie projektu dbt, w tym modeli incremental, testów i kontroli jakości danych.
• Code review oraz wsparcie merytoryczne mniej doświadczonych członków zespołu.

Wymagania techniczne

• Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym doświadczenie w samodzielnym rozwijaniu i utrzymywaniu produkcyjnego data warehouse.
• Bardzo dobra znajomość SQL i Python, w tym PySpark.
• Praktyczne doświadczenie z Amazon Redshift lub podobnym rozwiązaniem MPP, w szczególności w zakresie optymalizacji wydajności, distribution keys, sort keys i workload management.
• Znajomość modelowania danych, w tym dimensional modeling oraz Slowly Changing Dimensions.
• Doświadczenie z dbt: incremental models, tests i sources.
• Praktyczna znajomość Segment lub podobnej platformy Customer Data Platform (CDP) oraz projektowania event schemas.
• Doświadczenie w środowisku AWS: S3, IAM, Glue, Lambda, Step Functions, Spark on EMR oraz RDS/Aurora.
• Znajomość Infrastructure as Code, np. CloudFormation, AWS SAM lub Terraform.
• Doświadczenie w pracy z CI/CD.
• Umiejętność projektowania idempotentnych pipeline'ów oraz procesów umożliwiających ponowne przetwarzanie danych (backfilling).
• Praktyczne doświadczenie w przygotowywaniu danych pod rozwiązania ML/AI, np. feature engineering, training datasets lub model serving. Nie jest wymagane kompleksowe zarządzanie całym cyklem życia modeli ML.

Dodatkowe informacje

• Bardzo dobra znajomość języka angielskiego - poziom B2, C1 lub C2.
• Samodzielność w rozwiązywaniu problemów technicznych.
• Umiejętność pracy z produkcyjnymi systemami danych i podejmowania decyzji dotyczących architektury