Senior Data Engineer (AWS/PySpark) [ ]

O projekcie Poszukujemy doświadczonego Senior Data Engineera, który dołączy do niewielkiego zespołu odpowiedzialnego za rozwój i utrzymanie nowoczesnej platformy danych działającej w środowisku AWS.

Platforma wykorzystuje m.in. Amazon Redshift, S3, EMR, PySpark, AWS Glue, Lambda, Step Functions, dbt oraz Airflow do przetwarzania, transformacji i udostępniania danych na potrzeby analityki biznesowej, raportowania oraz integracji z systemami produktowymi i marketingowymi.

Projekt obejmuje zarówno rozwój istniejącej infrastruktury danych, jak i zwiększanie jej niezawodności, optymalizację wydajności i kosztów oraz automatyzację procesów. Ważnym kierunkiem rozwoju jest również przygotowanie platformy do szerszego wykorzystania Machine Learning i AI, w tym budowania pipeline'ów danych dla modeli ML oraz wdrażania rozwiązań opartych na LLM.

Zakres obowiązków

• Rozwój, utrzymanie i optymalizacja pipeline'ów danych w środowisku AWS.
• Projektowanie i implementacja procesów ETL/ELT z wykorzystaniem PySpark, dbt, AWS Glue, EMR i Step Functions.
• Integracja nowych źródeł danych, w tym baz PostgreSQL (Aurora), Amazon SQS oraz zewnętrznych API.
• Rozwój i optymalizacja hurtowni danych Amazon Redshift, w tym poprawa wydajności zapytań i redukcja kosztów infrastruktury.
• Tworzenie i rozwijanie modeli danych w dbt, wdrażanie testów jakości danych oraz monitorowanie ich aktualności.
• Utrzymanie i rozwój integracji z platformami Segment, Braze, Amplitude i AppsFlyer oraz zapewnianie spójności danych między systemami.
• Monitorowanie procesów przetwarzania danych, diagnozowanie błędów i rozwiązywanie problemów produkcyjnych.
• Projektowanie i wdrażanie mechanizmów automatyzacji oraz zarządzanie infrastrukturą jako kodem (IaC) z wykorzystaniem CloudFormation/SAM lub Terraform i CI/CD.
• Przygotowywanie zbiorów danych treningowych i pipeline'ów cech na potrzeby modeli Machine Learning oraz wspieranie ich wdrażania w Amazon SageMaker.
• Wsparcie inicjatyw AI/LLM, w szczególności w zakresie dostępu do danych, przygotowywania zbiorów ewaluacyjnych i optymalizacji kosztów.

Wymagania

• Min. 4 lata komercyjnego doświadczenia w obszarze Data Engineering, w tym pracy z produkcyjnymi hurtowniami danych.
• Bardzo dobra znajomość SQL i Pythona, w tym praktyczne doświadczenie z PySpark.
• Doświadczenie z Amazon Redshift lub inną hurtownią danych typu MPP, obejmujące optymalizację wydajności i modelowanie wymiarowe danych (w tym SCD).
• Praktyczna znajomość dbt, w szczególności modeli inkrementalnych, testowania danych i zarządzania źródłami.
• Doświadczenie z AWS: S3, IAM, Glue, Lambda, Step Functions, EMR oraz RDS/Aurora.
• Znajomość platformy Segment lub podobnego rozwiązania CDP oraz doświadczenie w projektowaniu schematów zdarzeń.
• Doświadczenie w projektowaniu niezawodnych, idempotentnych pipeline'ów danych z możliwością ponownego przetwarzania danych historycznych.
• Praktyczna znajomość Infrastructure as Code (CloudFormation, AWS SAM lub Terraform) oraz procesów CI/CD.
• Doświadczenie w przygotowywaniu danych na potrzeby projektów ML/AI, np. feature engineering, tworzenie zbiorów treningowych lub wdrażanie modeli.