Senior Data Engineer

Senior Data Engineer (k/m) | procesy ETL i systemy kampanijne

Dla naszego Klienta z branży bankowej poszukujemy Starszego Inżyniera Danych / Starszej Inżynierki Danych do zespołu odpowiedzialnego za zasilanie hurtowni danych, środowiska Big Data, platformy Google Cloud oraz systemów kampanijnych. Zespół buduje rozwiązania, które przetwarzają duże wolumeny danych zarówno wsadowo, jak i niemal w czasie rzeczywistym, a dostarczane dane trafiają do datamartów, analiz, raportów, segmentacji klientów i spersonalizowanych kampanii. To rola dla osoby z solidnymi podstawami inżynierii danych, która ceni niezawodne rozwiązania i chce rozwijać się w obszarze chmury, streamingu i platform marketingowych. Współpraca odbywa się w trybie hybrydowym.

Zatrudnienie w ramach grupy kapitałowej - przez spółkę Exorigo-Upos.

Zakres obowiązków

• projektowanie, budowa i rozwijanie pipeline’ów ETL/ELT działających w trybie batch oraz streaming, w szczególności na potrzeby systemów kampanijnych
• tworzenie procesów ładujących dane do BigQuery, hurtowni danych, Data Lake i platformy kampanijnej
• integrowanie danych z wielu źródeł: systemów on-premise, GCP, baz danych, plików, API oraz systemów zdarzeniowych
• budowa przepływów opartych na zdarzeniach z użyciem m.in. Kafki lub Pub/Sub
• projektowanie modeli danych na poziomie logicznym i fizycznym oraz przygotowywanie warstw danych, datamartów tematycznych i zbiorów dla procesów analitycznych i kampanijnych
• pisanie i optymalizacja zapytań SQL w bazach relacyjnych i kolumnowych
• implementacja procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście
• dbanie o jakość, kompletność, spójność i terminowe dostarczanie danych
• optymalizacja wydajności oraz kosztów przetwarzania w GCP
• wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponownego przetwarzania
• przekładanie potrzeb biznesu na koncepcje techniczne, modele danych i działające rozwiązania
• przygotowywanie testów, wsparcie wdrożeń, analiza incydentów i utrzymanie rozwiązań
• tworzenie i aktualizacja dokumentacji technicznej oraz praca zgodnie z podejściem DevSecOps

Wymagania

• Minimum 5-letnie doświadczenie komercyjne w inżynierii danych, w tym w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych
• bardzo dobra znajomość SQL, włącznie z optymalizacją zapytań i pracą na dużych wolumenach danych
• praktyczna praca z BigQuery: projektowanie struktur, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów
• doświadczenie programistyczne w Pythonie i/lub Ruście
• znajomość przetwarzania danych w trybie batch i streaming
• znajomość architektury event-driven oraz technologii takich jak Kafka lub Pub/Sub
• doświadczenie w projektowaniu logicznych i fizycznych modeli danych
• znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL
• Znajomość języka polskiego na poziomie C1

Mile widziane

• doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage
• znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow
• praca z Kubernetes, Dockerem i procesami CI/CD
• znajomość Informatica PowerCenter lub innych narzędzi ETL
• udział w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym
• znajomość systemów kampanijnych, segmentacji klientów lub przygotowania danych dla marketing automation
• doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability
• wiedza z zakresu bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych
• znajomość AutomateNOW

Oferujemy

• Współpracę z renomowaną organizacją (ITwiz BEST100), działającą w oparciu o międzynarodowe standardy jakości i bezpieczeństwa (ISO 9001, ISO 27001)
• Niekorporacyjną atmosferę i płaską strukturę organizacyjną
• Możliwość ciągłego rozwoju poprzez:
• pracę z wykorzystaniem różnorodnych technologii w projektach dla renomowanych klientów
• współpracę z doświadczonym zespołem ekspertów, którzy chętnie dzielą się wiedzą
• dofinansowanie do szkoleń i certyfikatów
• Program Poleceń Pracowniczych
• Udział w inicjatywach dobroczynnych, w tym współpracę z Fundacją im. Joanny Radziwiłł “Opiekuńcze Skrzydła” oraz udział w świątecznej akcji „Gwiazdorzymy”
• Różnorodne i inkluzywne środowisko pracy - w naszej firmie współpracują przedstawiciele czterech pokoleń
• Równe szanse rozwoju - 50% stanowisk menedżerskich i liderskich zajmują kobiety
• Opiekę medyczną LUX-MED, dofinansowanie 50% do karty Multisport, dofinansowanie do nauki języków oraz dostęp do platformy wellbeingowej
• Kulturę organizacyjną opartą na wartościach:
• działamy z dobrą intencją
• dzielimy się wiedzą
• bierzemy odpowiedzialność
• stale się doskonalimy
• ludzie są dla nas najważniejsi
• działamy, znając cel i sens naszej pracy
• komunikujemy się szczerze i profesjonalnie

Proces rekrutacyjny

• selekcja CV
• screening (30 min)
• rozmowa rekrutacyjna (z klientem)
• decyzja