Data Platform Engineer (Apache Druid)

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.

Data Platform Engineer (Apache Druid)

• Lokalizacja: 100% zdalnie
• Forma współpracy: B2B
• Stawka: do 175 PLN netto + VAT/h

O projekcie Dla naszego klienta - międzynarodowej firmy technologicznej rozwijającej platformę chmurową do zarządzania komunikacją z klientami, automatyzacją oraz marketingiem opartym na danych - poszukujemy Data Platform Engineera ze znajomością Apache Druid.

Projekt koncentruje się na rozwoju i utrzymaniu nowoczesnej platformy danych oraz ekosystemu analitycznego przetwarzającego duże wolumeny danych. Osoba na tym stanowisku będzie odpowiedzialna za rozwój procesów ingestii, agregacji i wzbogacania danych, optymalizację wydajności oraz zapewnienie skalowalności i bezpieczeństwa platformy.

Zakres usługi

• Rozwój i utrzymanie pipeline'ów ingestii danych w Apache Druid oraz tworzenie własnych rozszerzeń (extensions).
• Integracja Apache Druid z zewnętrznymi systemami lookup.
• Budowanie i utrzymywanie pipeline'ów danych opartych na Apache Kafka.
• Udział w rozwoju przetwarzania strumieniowego z wykorzystaniem Apache Flink.
• Implementacja procesów pre-agregacji i wzbogacania danych.
• Optymalizacja zapytań MySQL oraz poprawa wydajności baz danych w środowiskach o dużej skali.
• Projektowanie mechanizmów wzbogacania metadanych w różnych systemach przechowywania danych.
• Integracja i utrzymanie mechanizmów kontroli dostępu RBAC.
• Praca z usługami AWS, w szczególności S3, Aurora i IAM.
• Współpraca z zespołami rozwijającymi platformę danych oraz architekturę Lakehouse.

Wymagania

• Praktyczne doświadczenie z Apache Druid, w szczególności w zakresie ingestii danych i tworzenia rozszerzeń.
• Doświadczenie w budowaniu i utrzymywaniu pipeline'ów danych z wykorzystaniem Apache Kafka.
• Znajomość Apache Flink lub podobnych technologii do przetwarzania strumieniowego.
• Bardzo dobra znajomość MySQL, w tym optymalizacji zapytań i wydajności baz danych przy dużych wolumenach danych.
• Doświadczenie w implementacji mechanizmów wzbogacania metadanych w platformach danych.
• Doświadczenie w integracji i utrzymaniu rozwiązań RBAC w różnych systemach przechowywania danych.
• Praktyczna znajomość AWS, szczególnie S3, Aurora i IAM.
• Umiejętność rozwiązywania złożonych problemów inżynierskich oraz współpracy z zespołem.

Mile widziane

• Doświadczenie z ClickHouse.
• Znajomość Apache Iceberg i architektury Lakehouse.
• Doświadczenie z technologiami federacji zapytań, np. Trino lub Amazon Athena.
• Doświadczenie w pracy z platformami danych przetwarzającymi duże wolumeny danych.