Data Engineer / ML Data Engineer (Mid/Senior) - Hybrid

Data Engineer / ML Data Engineer (Mid/Senior) - Hybrid

Wynagrodzenie: 20 000-25 000 PLN miesięcznie (UoP brutto lub adekwatna stawka B2B netto + VAT)

Forma współpracy: Umowa o pracę lub B2B

Lokalizacja: Warszawa

Tryb pracy: Hybrydowy

Szukamy Data Engineera do zespołu rozwijającego systemy, które przetwarzają ogromne ilości danych i wykorzystują modele ML do podejmowania decyzji w czasie rzeczywistym. Dużym wyzwaniem jest zapewnienie jakości danych i wydajności ich przetwarzania przy bardzo wysokim obciążeniu. To praca dla kogoś, kto lubi szukać wąskich gardeł, rozwiązywać złożone problemy techniczne i budować rozwiązania, które niezawodnie działają na produkcji.

Co będziesz robić

• Budować i optymalizować pipeline'y danych zasilające produkcyjne modele ML.
• Dbać o jakość i kompletność danych, wykrywać błędy i anomalie, zanim wpłyną na działanie modeli.
• Projektować sposób przechowywania i przetwarzania danych, tak żeby system radził sobie z dużym obciążeniem.
• Tworzyć metryki, dashboardy i alerty monitorujące jakość danych oraz działanie pipeline'ów.
• Analizować wydajność przetwarzania i zapytań, szukać wąskich gardeł i usuwać ich przyczyny.
• Pracować bezpośrednio z data scientistami, pomagając im skutecznie wykorzystywać dane w modelach ML.
• Automatyzować testowanie i wdrażanie zmian w pipeline'ach danych.

Czego oczekujemy

• Masz co najmniej 3 lata doświadczenia w Data Engineering lub pokrewnym obszarze.
• Bardzo dobrze znasz Pythona i SQL.
• Pracowałeś(-aś) z dużymi wolumenami danych w środowisku produkcyjnym.
• Masz doświadczenie z narzędziami takimi jak Spark, Polars lub podobnymi.
• Znasz analityczne bazy kolumnowe i potrafisz optymalizować ich działanie.
• Współpracowałeś(-aś) z data scientistami lub zespołami ML i rozumiesz, do czego wykorzystywane są przygotowywane przez Ciebie dane.
• Potrafisz samodzielnie diagnozować problemy i wdrażać rozwiązania.

Mile widziane

• ClickHouse lub StarRocks.
• Kubernetes i narzędzia GitOps.
• Go.
• Doświadczenie z systemami przetwarzającymi dane w czasie rzeczywistym lub projektami ML.

Nie musisz mieć doświadczenia w konkretnej branży ani pracować wcześniej z systemami o takiej skali. Ważne, żebyś potrafił(-a) wykorzystać swoje doświadczenie w nowych, bardziej wymagających warunkach.

Zespół

Dołączysz do zespołu rozwijającego rozwiązania, które dostarczają dane do modeli ML wykorzystywanych w systemach produkcyjnych.

Będziesz pracować bezpośrednio z data scientistami, ale w obszarze inżynierii danych oczekujemy dużej samodzielności. To rola z realnym wpływem na jakość danych, wydajność i niezawodność całego systemu - nie tylko na pojedynczy etap ETL.

Stack technologiczny

Python i SQL jako główne technologie; Spark, Polars lub podobne narzędzia do przetwarzania dużych zbiorów danych; analityczne bazy kolumnowe, w tym ClickHouse lub StarRocks. Przydatne będą również Kubernetes, narzędzia GitOps i znajomość Go.

Jak wygląda proces

Rekrutację prowadzi Optineo. Zaczynamy od krótkiej rozmowy zapoznawczej. Potem umawiamy się na dłuższy wywiad o Twoim doświadczeniu i oczekiwaniach. W trakcie rozmów szybko odkryjemy karty: poznasz nazwę klienta i szczegóły pracy. Wspólnie zdecydujemy, czy idziemy dalej, a informacje o Tobie trafią do klienta wyłącznie za Twoją zgodą. To konkretne, otwarte stanowisko, a nie zbieranie CV na zapas.