Senior Data Engineer (Python / Azure)

Czym będziesz się zajmować?

Zakres obowiązków

• Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta
• Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion
• Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy
• Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania
• Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych
• Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi
• Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych
• Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych
• Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta

Oferujemy

• Prywatną opiekę medyczną
• Dofinansowanie karty sportowej
• Stałe wsparcie konsultanta
• Program rekomendacji pracowników

Kogo poszukujemy?

Wymagania

• Minimum 5 lat komercyjnego doświadczenia w data engineeringu
• Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse
• Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion
• Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności
• Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL
• Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML
• Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych
• Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
• Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions
• Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi
• Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem

Mile widziane

• Znajomość Infrastructure as Code: Terraform lub Bicep
• Znajomość projektowania modeli danych na potrzeby Power BI
• Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament

Czego wymagamy?

5 lat doświadczenia na podobnym stanowisku

Znajomości

• Python
• ETL
• Data modeling
• Zarządzanie procesami biznesowymi
• QA

Mile widziane

• SQL
• REST
• Azure
• Azure Data Factory
• Azure Functions
• Azure SQL
• Databricks
• Git
• CI/CD
• Dokumentacja projektowa

Języki

• Angielski
• Polski

Jakie warunki i benefity otrzymasz?

• 25.2k-30.2k PLN netto/m (B2B)
• B2B - Elastyczne godziny pracy (100%)
• Praca zdalna: W całości
• Pakiet medyczny, Pakiet sportowy

Kim jesteśmy? DCG to przestrzeń, w której spotykają się potrzeby biznesu i ambicje ludzi. Znamy wartość dobrze dopasowanej współpracy, dlatego pomagamy kandydatom znaleźć środowisko, w którym będą mogli rozwinąć skrzydła, a firmom - zbudować zespoły, które naprawdę działają. Pracujemy blisko ludzi i organizacji, uważnie słuchając i reagując na to, co dla nich ważne. Dzięki temu wspólnie tworzymy trwałe i wartościowe relacje, które procentują na lata.