Senior Data Engineer

O projekcie

• Budujemy platformę wiedzy organizacji w skali enetrprise, wykorzystywaną przez wiele zespołów i produktów.
• Zespół będzie tworzyć reużywalne wzorce inżynierskie, na których oprze się platforma.
• Platforma budowana jest z myślą o przyszłym wykorzystaniu przez rozwiązania AI i Agent Hub.
• Projekt wykorzystuje rozwiązania open source oraz wewnętrzną platformę cloud.
• Zespół będzie pracował w międzynarodowym środowisku.

Zakres obowiązków

• Projektowanie, budowa i utrzymanie pipeline’ów end-to-end.
• Tworzenie reużywalnych konektorów i komponentów dla danych strukturalnych i niestrukturalnych.
• Rozwój modeli danych dla baz relacyjnych, grafowych i NoSQL.
• Rozwój warstwy Knowledge Graph i przekładanie ontologii na modele danych.
• Zapewnienie jakości danych, lineage i provenance.
• Współtworzenie standardów bezpieczeństwa, kontroli dostępów, observability i cyklu życia danych.

Wymagania

• Minimum 5 lat doświadczenia jako Data Engineer lub podobnej roli.
• Bardzo dobra znajomość Python oraz SQL.
• Praktyczne doświadczenie z Knowledge Graph.
• Doświadczenie w projektowaniu modeli danych NoSQL.
• Praktyka z danymi strukturalnymi i niestrukturalnymi, w tym treścią dokumentów, metadanymi źródłowymi i danymi po ekstrakcji.
• Doświadczenie w projektowaniu reużywalnych frameworków pipeline’ów dla wielu źródeł, projektów lub domen.
• Swoboda w pracy z danymi strukturalnymi i niestrukturalnymi, w tym treścią dokumentów, metadanymi źródłowymi i danymi po ekstrakcji.
• Znajomość chmurowych usług danych, orkiestracji pipeline’ów, CI/CD i monitoringu.
• Bardzo dobra znajomość języka angielskiego (min. B2) i języka polskiego (min.B2).
• Otwartość na pracę z biura w Krakowie 6 x w miesiącu.

Mile widziane

• Praktyka w rozwiązaniach AI, LLM
• Znajomość RAG.
• Doświadczenie z ontologiami.
• Doświadczenie w środowiskach enterprise.