Data Engineer

Poszukujemy doświadczonego Data Engineera do samodzielnej realizacji projektów budowy platform danych dla klientów przemysłowych i produkcyjnych. Osoba na tym stanowisku odpowiada za cały cykl - od analizy potrzeb u klienta, przez projekt architektury, po implementację i uruchomienie rozwiązania.

Twój zakres obowiązków

• Zbieranie i uzgadnianie wymagań bezpośrednio z klientem - z przedstawicielami biznesu oraz działów IT
• Analiza systemów i źródeł danych klienta, ocena jakości danych i komunikowanie wykrytych problemów
• Projektowanie architektury platform danych: warstwy surowej, hurtowni oraz systemów analitycznych
• Projektowanie i implementacja modeli baz oraz hurtowni danych
• Projektowanie i implementacja rozwiązań klasy data lake
• Budowa procesów ETL/ELT z wykorzystaniem platform integracji danych, rozszerzanych o Python i Spark
• Automatyzacja, monitoring oraz wdrożenie produkcyjne rozwiązań
• Wsparcie klienta po wdrożeniu i rozwój platformy o kolejne źródła danych

Nasze wymagania

• Doświadczenie w analizie wymagań, również w bezpośredniej pracy z klientem
• Doświadczenie w projektowaniu i implementacji baz oraz hurtowni danych
• Doświadczenie w projektowaniu i implementacji data lake'ów
• Doświadczenie w budowie procesów ETL/ELT z wykorzystaniem platform integracji danych
• Znajomość Pythona i Apache Spark
• Umiejętność samodzielnego prowadzenia zadań od analizy po wdrożenie
• Komunikatywność i umiejętność tłumaczenia zagadnień technicznych osobom nietechnicznym
• Gotowość do okazjonalnych wyjazdów do klienta (1-3 razy w kwartale)

Mile widziane

• Doświadczenie w pracy z klientami przemysłowymi lub produkcyjnymi (systemy MES, ERP, SCADA, dane z czujników)
• Znajomość metodyk modelowania hurtowni danych
• Doświadczenie z wdrożeniami on-premise
• Znajomość formatów tabelarycznych

Środowisko technologiczne

• Źródła danych: Oracle, MS SQL, PostgreSQL, API
• ETL/ELT i orkiestracja: Apache Airflow, Apache NiFi, Apache Spark, Python
• Data lake: MinIO
• Baza transakcyjna: PostgreSQL