Senior Data Engineer

O projekcie [zdalnie] Senior Data Engineer

• Rozwijamy nasz zespół AI Data Engineering w DS STREAM!

Poszukujemy Senior Data Engineera, który dołączy do naszego zespołu i będzie rozwijał nowoczesne rozwiązania oparte o chmurę oraz platformy Big Data.

• Praca w 100% zdalna na terenie Polski (z możliwością korzystania z biura w Warszawie).

O projekcie

Dołączysz do projektu rozwijającego dojrzały, wysokodostępny Data Hub zbudowany w oparciu o Azure Databricks. Środowisko wykorzystuje m.in. Unity Catalog, Spark Structured Streaming oraz Asset Bundles, zapewniając wysoką wydajność, bezpieczeństwo i skuteczne zarządzanie danymi.

Architektura rozwiązania oparta jest na modelu Medallion Architecture, który stanowi skalowalny fundament do integracji, przetwarzania i udostępniania nowych źródeł danych w istniejącym ekosystemie.

Oferujemy

• pracę w 100% zdalną z możliwością korzystania z biura w Warszawie,
• elastyczne godziny pracy oraz udział w wydarzeniach integracyjnych,
• dostęp do certyfikacji Azure,
• możliwość rozwijania własnych pomysłów w ramach naszego wewnętrznego inkubatora projektów,
• współpracę z zespołem ponad 50 doświadczonych konsultantów Data, specjalizujących się w Data Warehouse i Big Data,
• oraz wiele innych benefitów.

Zakres obowiązków

• rozwój oprogramowania do przetwarzania dużych wolumenów danych,
• integrację i pobieranie danych z interfejsów API,
• projektowanie oraz rozwój pipeline'ów danych w Databricks z wykorzystaniem PySpark i SQL,
• tworzenie i utrzymywanie pipeline'ów opartych na Spark Structured Streaming,
• projektowanie oraz zarządzanie obiektami w Unity Catalog zgodnie z założeniami Medallion Architecture.

Wymagania Rozwijamy nasz zespół!

DS STREAM rośnie w siłę i poszukuje Senior Data Engineerów.

Szukamy osób, które posiadają przynajmniej część poniższych kompetencji:

• minimum 5 lat komercyjnego doświadczenia w obszarze Data Engineering, ze szczególnym uwzględnieniem budowy i rozwoju wielkoskalowych pipeline'ów danych,
• praktyczne doświadczenie w pracy z zaawansowanymi rozwiązaniami chmurowymi Microsoft Azure oraz Databricks,
• doświadczenie w pracy z Spark Structured Streaming,
• bardzo dobra znajomość Pythona oraz SQL,
• doświadczenie w budowaniu i utrzymywaniu pipeline'ów z wykorzystaniem GitHub lub podobnych narzędzi.

Mile widziane

• doświadczenie w tworzeniu integracji API klasy enterprise z wykorzystaniem FastAPI lub podobnych frameworków,
• doświadczenie w prowadzeniu zespołu, mentoringu lub wspieraniu rozwoju innych inżynierów.

Oferujemy

• Remote work
• Competitive compensation
• Sport subscription
• Training budget
• Private healthcare
• Flat structure
• Small teams
• International projects
• Free coffee
• Bike parking
• In-house trainings
• In-house hack days
• Modern office
• Startup atmosphere
• No dress code
• Free beverages

Etapy rekrutacji

• 30-minutowa rozmowa z Rekruterem
• 60-minutowa rozmowa techniczna (bez zadania live coding).
• Opcjonalne 30-minutowe spotkanie uzupełniające