AWS Data Enginer

O projekcie Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty

Dla naszego Klienta - amerykańskiej firmy rozwijającej produkty cyfrowe - poszukujemy AWS Data Engineera, który dołączy do niewielkiego zespołu odpowiedzialnego za platformę danych w AWS.

Osoba na tym stanowisku zadba o przepływ danych z aplikacji, systemów płatniczych i narzędzi marketingowych do hurtowni Redshift oraz ich spójność w raportach i analityce produktowej. Będzie także usprawniać istniejącą platformę i przygotowywać dane do rozwoju rozwiązań Machine Learning oraz AI.

• B2B contract
• 100% zdalnie
• Stawka: 140-160 PLN netto+VAT/h
• Wynagrodzenie do 160 zł/h netto + vat na kontrakcie B2B.
• Praca w pełni zdalna.
• Rozpoczęcie współpracy Asap.
• Planowany czas trwania projektu - do końca Maja 2027 (z ewentualną możliwością przedłużenia).
• Współpraca z amerykańskim klientem w niewielkim zespole danych.
• Wpływ na niezawodność, wydajność i koszty działającej platformy AWS.
• Możliwość rozwijania doświadczenia w przygotowywaniu i wdrażaniu rozwiązań ML/AI.

Zakres obowiązków

• Rozwój i utrzymanie platformy danych opartej na AWS, PySpark, dbt i Redshift.
• Monitorowanie działania pipeline’ów, rozwiązywanie awarii, poprawianie danych oraz podłączanie nowych źródeł, m.in. Aurora PostgreSQL i SQS.
• Rozwijanie transformacji danych, testów jakości i monitorowania aktualności danych.
• Zarządzanie konfiguracją Segment, schematami zdarzeń oraz przepływem danych pomiędzy aplikacjami, hurtownią i narzędziami analityczno-marketingowymi.
• Wyjaśnianie rozbieżności pomiędzy danymi w Redshift, Braze, Amplitude, AppsFlyer i Looker.
• Udostępnianie danych z hurtowni do systemów zewnętrznych i partnerów, w tym grup odbiorców, atrybutów użytkowników oraz zdarzeń.
• Utrzymywanie istniejących modeli ML, przygotowywanie cech i zbiorów treningowych oraz wdrażanie modeli na SageMaker.
• Wspieranie projektów AI poprzez zapewnianie dostępu do danych, przygotowywanie zbiorów do ewaluacji i kontrolowanie kosztów.
• Wsparcie rozwoju umiejętności Claude Code wykorzystywanych przez analityków do pracy z SQL i specyfikacjami śledzenia zdarzeń.
• Optymalizacja wydajności i kosztów dwóch klastrów Redshift.
• Zarządzanie infrastrukturą przy użyciu AWS SAM, CloudFormation i CI/CD oraz migracja funkcji starszych rozwiązań do obecnego środowiska.
• Uzgadnianie definicji metryk z zespołami analityki, finansów i produktu oraz zapewnianie ich spójności w hurtowni i raportach.
• Rozwijanie projektu dbt, przegląd kodu i mentoring młodszego inżyniera.

Wymagania

• Minimum 4 lata doświadczenia w Data Engineering, w tym odpowiedzialność za produkcyjną hurtownię danych/
• Bardzo dobra znajomość SQL i Python, w tym PySpark.
• Doświadczenie z Amazon Redshift lub podobną hurtownią MPP, obejmujące optymalizację wydajności, zarządzanie obciążeniem i modelowanie wymiarowe, w tym SCD.
• Praktyczna znajomość dbt - modele przyrostowe, testy oraz konfiguracja źródeł danych.
• Doświadczenie z Segment lub podobną platformą Customer Data Platform oraz projektowaniem schematów zdarzeń.
• Znajomość usług AWS: S3, IAM, Glue, Lambda, Step Functions, EMR oraz RDS/Aurora.
• Doświadczenie z Infrastructure as Code - CloudFormation/SAM lub Terraform - oraz procesami CI/CD.
• Umiejętność budowania pipeline’ów umożliwiających bezpieczne ponowne przetwarzanie i uzupełnianie danych historycznych.
• Praktyczne doświadczenie w przygotowywaniu danych do zastosowań ML/AI, np. tworzeniu cech, zbiorów treningowych lub udostępnianiu modeli do predykcji.
• Znajomość języka angielskiego na poziomie minimum B2.

Mile widziane

• Znajomość Braze, Amplitude, AppsFlyer oraz danych dotyczących atrybucji marketingowej i cyklu życia klienta.
• Doświadczenie z SageMaker lub innymi narzędziami MLOps.
• Doświadczenie z aplikacjami opartymi na LLM, w tym Bedrock, API Anthropic lub OpenAI, ewaluacją oraz zarządzaniem promptami i kosztami.
• Znajomość Claude Code lub innych narzędzi AI wspierających programowanie.
• Znajomość Looker/LookML i Airflow.
• Doświadczenie z Redshift Spectrum, udostępnianiem danych oraz optymalizacją kosztów Redshift.
• Doświadczenie z danymi płatniczymi i subskrypcyjnymi, szczególnie ze Stripe, PayPal, App Store lub Google Play.
• Doświadczenie w integracjach z zewnętrznymi API i eksportami danych, obejmujące obsługę limitów zapytań, zmian schematów oraz ponawiania prób.