Cloud Data Engineer (f / m/x) - Regular, Senior

Opis

Chcesz rozwijać swoje kompetencje w technologiach chmurowych? Dołącz do naszej wyspecjalizowanej jednostki skupiającej ekspertów z dziedziny procesowania i analizy danych w ramach Centrum Kompetencyjnego Data & Analytics. Oferujemy również rozwój w obszarach Data Science, Big Data i Machine Learning.

Benefity

• Great Place to Work

• Stabilna sytuacja finansowa

• Kontrakty z globalnymi markami

• Centrum szkoleń wewnętrznych

• Wielu ekspertów, od których możesz się uczyć

• Otwarty i dostępny zarząd

• Profit sharing

• Program Sponsoringu Pasji

• Cykliczne imprezy i wyjazdy integracyjne

• Komfortowe i dobrze wyposażone biura

• Aplikacja MySii

• Opieka medyczna

Wymagania

• Minimum 4 lata doświadczenia w projektach związanych z przetwarzaniem i integracją dużych wolumenów danych

• Bardzo dobra znajomość SQL oraz Python

• Doświadczenie w pracy z frameworkami do przetwarzania danych takimi jak Apache Spark / PySpark

• Praktyczne doświadczenie w projektowaniu i budowie rozwiązań Data Lake oraz Data Warehouse

• Umiejętność budowania i utrzymywania pipeline’ów ETL/ELT oraz pracy z narzędziami do orkiestracji i integracji danych

• Komercyjne doświadczenie w projektach opartych o rozwiązania chmurowe Microsoft Azure w obszarze przetwarzania danych (np. Databricks, Azure Data Factory, Synapse, Fabric)

• Znajomość koncepcji przetwarzania danych w środowisku rozproszonym oraz optymalizacji pipeline’ów danych

• Umiejętność swobodnej komunikacji w języku angielskim

• Wymagana płynna znajomość języka polskiego

• Wymagane przebywanie na terenie Polski

Zakres obowiązków

• Projektowanie, budowanie i rozwijanie skalowalnych oraz wysokowydajnych platform przetwarzania danych w architekturze Data Lake / Data Platform

• Tworzenie oraz utrzymanie pipeline’ów ETL/ELT do integracji danych z różnych źródeł oraz ich przetwarzania w środowisku Azure Databricks

• Modelowanie danych oraz przygotowywanie struktur danych dostosowanych do potrzeb analitycznych i biznesowych

• Implementacja rozwiązań do przetwarzania danych (batch i/lub near real-time)

• Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów oraz procesów przetwarzania danych

• Współpraca z analitykami danych, zespołami BI oraz Data Science w zakresie przygotowania i udostępniania danych

• Zbieranie wymagań biznesowych oraz proponowanie optymalnych rozwiązań technologicznych

• Tworzenie i utrzymywanie dokumentacji technicznej dla rozwijanych rozwiązań

• Wsparcie oraz mentoring mniej doświadczonych członków zespołu, dzielenie się wiedzą i najlepszymi praktykami