Data Engineer (Azure)

O projekcie Wspólnie z naszym Partnerem, liderem branży ubezpieczeniowej i reasekuracyjnej, poszukujemy doświadczonego/ej specjalisty/ki do świadczenia usług jako Data Engineer. Projekt koncentruje się na obszarze Data Intake: pozyskiwaniu danych z różnych źródeł oraz automatyzacji i niezawodności pipeline'ów w środowisku Azure i Databricks.

Oferujemy

• Nowy sposób na aplikowanie z AI Rekruterem (AIR) - w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
• Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych.
• 5 000 PLN za polecenie znajomych do naszych projektów.
• Elastyczna forma współpracy B2B.
• Realizacja usług 100% zdalnie.
• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.

13673/DK

Zakres obowiązków

• Nadawanie kierunku technicznego i rozwijanie dobrych praktyk inżynierskich we współpracy z innymi specjalistami w projekcie.
• Transformowanie i przygotowywanie danych do dalszego wykorzystania przez kolejne warstwy systemu.
• Scheduling i monitoring pipeline'ów z zapewnieniem właściwej obsługi błędów i logowania.
• Budowanie i utrzymywanie pipeline'ów do pozyskiwania danych z różnych źródeł.
• Dbanie o jakość danych (data quality) na każdym etapie procesu intake.
• Automatyzowanie procesów data intake w środowisku chmurowym.

Wymagania

• Udokumentowane doświadczenie w data ingestion i projektowaniu niezawodnych pipeline'ów.
• Znajomość ekosystemu Azure w obszarze przetwarzania i przechowywania danych.
• Praktyczna znajomość Python w kontekście budowy pipeline'ów danych.
• Doświadczenie z platformą Databricks w środowisku produkcyjnym.
• Biegła znajomość języka polskiego i angielskiego.

Mile widziane

• Znajomość PySpark i doświadczenie w przetwarzaniu danych na dużą skalę.
• Umiejętność porządkowania sposobu pracy i wdrażania standardów technicznych w projekcie.
• Doświadczenie na poziomie seniorskim pozwalające na samodzielne nadawanie kierunku technicznego.