Big Data Engineer

ITELENCE to szybko rozwijająca się firma wspierająca swoich międzynarodowych klientów w ich biznesowej i cyfrowej transformacji. Rozumiemy, że ludzie są naszym największym kapitałem, a kultura wzajemnego wsparcia, motywacji i rozwoju jest kluczem do wspólnego sukcesu. Naszą ambicją jest zbudowanie firmy, która inspiruje i wspiera naszych pracowników.

Dla jednego z naszych klientów poszukujemy osoby na stanowisko: Big Data Engineer.

Forma współpracy: B2B / UZ

Tryb pracy: zdalny

Czas trwania projektu: Start - listopad, 3 miesiące z możliwością przedłużenia

Zakres obowiązków

• Projektowanie, budowa i utrzymanie skalowalnych pipeline’ów ETL/ELT przetwarzających duże wolumeny danych w środowisku chmurowym Azure.
• Optymalizacja zadań Apache Spark z wykorzystaniem DataFrame API i Spark SQL pod kątem wydajności, skalowalności i niezawodności.
• Przygotowywanie i przetwarzanie danych na potrzeby analityki biznesowej oraz projektów Machine Learning.
• Wdrażanie dobrych praktyk w zakresie architektury data lake, w tym wykorzystania formatów Parquet i Delta Lake oraz odpowiedniego partycjonowania danych.
• Implementacja mechanizmów kontroli jakości danych oraz monitorowanie poprawności i niezawodności procesów przetwarzania.
• Zarządzanie kodem źródłowym z wykorzystaniem Git oraz wspieranie procesów CI/CD, testowania i przyrostowych wdrożeń.
• Analiza i rozwiązywanie problemów związanych z przetwarzaniem dużych zbiorów danych oraz optymalizacja istniejących rozwiązań.
• Współpraca z zespołami technicznymi, analitycznymi i biznesowymi w celu zrozumienia potrzeb dotyczących danych oraz dostarczania odpowiednich rozwiązań.

Wymagania

• Dobra znajomość SQL oraz zagadnień związanych z modelowaniem danych.
• Praktyczna znajomość Apache Spark, w szczególności DataFrame API, Spark SQL oraz technik optymalizacji wydajności zadań.
• Dobra znajomość języka Python w kontekście inżynierii danych oraz podstawowych zadań związanych z analizą danych.
• Doświadczenie w projektowaniu, budowie i utrzymaniu procesów ETL/ELT.
• Doświadczenie w pracy z dużymi zbiorami danych ustrukturyzowanych i częściowo ustrukturyzowanych.
• Znajomość koncepcji data lake oraz formatów i technologii takich jak Parquet, Delta Lake i partycjonowanie danych.
• Podstawowa znajomość Git oraz procesów CI/CD.
• Znajomość chmurowych platform danych, takich jak Microsoft Azure lub AWS, ze szczególnym uwzględnieniem Azure.
• Podstawowa znajomość statystyki, analizy danych oraz praktyk związanych z kontrolą jakości danych.
• Umiejętność diagnozowania problemów technicznych oraz optymalizacji wydajności procesów przetwarzania danych.
• Dobre umiejętności komunikacyjne oraz umiejętność efektywnej współpracy z interesariuszami biznesowymi i technologicznymi.

Mile widziane

• Doświadczenie w pracy z platformą Databricks.
• Udział w projektach Machine Learning oraz znajomość specyfiki przygotowywania danych na potrzeby modeli ML.
• Doświadczenie w rozwijaniu i optymalizacji rozwiązań przetwarzających duże wolumeny danych w środowisku chmurowym.
• Znajomość dobrych praktyk w zakresie testowania, monitorowania i wdrażania rozwiązań data engineering.

Oferujemy

• Udział w projektach związanych z przetwarzaniem dużych wolumenów danych oraz rozwojem nowoczesnych rozwiązań data engineering.
• Możliwość pracy z technologiami chmurowymi, w szczególności Microsoft Azure, oraz Apache Spark.
• Współpracę przy realizacji projektów wspierających analitykę danych i rozwój rozwiązań Machine Learning.
• Pracę zdalną.
• Elastyczną formę współpracy: B2B / UZ.
• Multisport PLUS.
• Prywatną opiekę medyczną.