Senior Data Engineer

Opis stanowiska

Dołącz do zespołu rozwijającego enterprise’ową platformę danych dla rynku finansowego, wspierającą analitykę.

Poszukujemy Senior Data Engineera odpowiedzialnego za projektowanie, rozwój i utrzymanie wysokowydajnych rozwiązań przetwarzających duże wolumeny danych w trybie near real-time.

Platforma obsługuje miliony komunikatów dziennie, zapewniając odświeżanie danych nawet co 1 sekundę. Obejmuje także archiwizację z 2-letnią retencją, integrację z systemami komunikacyjnymi, w tym RabbitMQ, oraz wymagania dotyczące wysokiej dostępności, wydajności i skalowalności.

Wymagania

• Kilka doświadczenia z PostgreSQL i bardzo dobra znajomość SQL.
• Praktyczna znajomość PL/pgSQL, w tym procedur, funkcji i triggerów.
• Doświadczenie w relacyjnym modelowaniu danych, normalizacji i denormalizacji.
• Praktyka w pracy z dużymi wolumenami danych oraz systemami wysokiej dostępności.
• Doświadczenie w optymalizacji zapytań SQL, procesów ETL i wydajności baz danych.
• Umiejętność analizy planów wykonania, strojenia indeksów i monitorowania PostgreSQL.
• Znajomość systemu Linux.
• Wykształcenie wyższe techniczne lub ścisłe.
• Język angielski na poziomie minimum B2.

Kluczowe obszary techniczne

• PostgreSQL i modelowanie danych

Znajomość architektury PostgreSQL, partycjonowania tabel oraz indeksów.

• PL/pgSQL

Tworzenie procedur, funkcji i triggerów oraz implementacja logiki biznesowej w warstwie bazodanowej.

• Performance tuning i monitoring

Analiza planów wykonania, optymalizacja SQL, strojenie indeksów

• ETL i near real-time processing

Projektowanie i optymalizacja procesów ETL dla wielu milionów komunikatów dziennie, z odświeżaniem danych co sekundę

• Data architecture i integracje

Projektowanie wysokodostępnych, skalowalnych rozwiązań oraz integracja z systemami komunikacyjnymi, w szczególności RabbitMQ.

Mile widziane

• Python - automatyzacja i przetwarzanie danych.
• Kafka lub RabbitMQ - przetwarzanie komunikatów i strumieni danych.
• Apache Airflow - orkiestracja procesów danych; Spark lub Beam.
• Doświadczenie z CI/CD.
• Doświadczenie w sektorze bankowym, finansowym etc.
• Znajomość technologii Big Data.
• Znajomość GCP, Rust, BigQuery, narzędzi OCR

Co zyskujesz dołączając do Bluesoft

• Współpracę w zespole interdyscyplinarnych ekspertów - entuzjastów technologii, ceniących bezpośredniość i partnerskie relacje;
• Długoterminowe zaangażowanie projektowe w firmie, która nieprzerwanie od ponad 20 lat rozwija się na rynku IT;
• Udział w różnorodnych projektach IT realizowanych dla rozpoznawalnych klientów - liderów w swoich branżach;
• Dostęp do najnowszych technologii i środowisko oparte na najwyższych standardach inżynieryjnych;
• Elastyczne warunki realizacji usług - hybrydowo lub w pełni zdalnie, dopasowane indywidualnie do charakteru współpracy (każdy zespół ustala to samodzielnie);
• Ekosystem wymiany wiedzy i rozwoju: szkolenia wewnętrzne, gildie tematyczne, szkolenia i certyfikacje Cloud w ramach partnerstw technologicznych z czterema dostawcami chmury;
• Dostęp do nauki języka angielskiego lub niemieckiego online oraz grupowe zajęcia językowe;
• Możliwość przystąpienia do Multisport i prywatnej opieki medycznej na preferencyjnych warunkach wynegocjowanych przez Bluesoft;
• Morskie przygody - rejsy po Morzu Karaibskim, Śródziemnym i Północnym z dofinansowaniem ze strony Bluesoft.