Cloud Data Engineer (f / m/x) - Regular, Senior

Benefity

• Great Place to Work

• Stabilna sytuacja finansowa

• Kontrakty z globalnymi markami

• Centrum szkoleń wewnętrznych

• Wielu ekspertów, od których możesz się uczyć

• Otwarty i dostępny zarząd

• Profit sharing

• Program Sponsoringu Pasji

• Cykliczne imprezy i wyjazdy integracyjne

• Komfortowe i dobrze wyposażone biura

• Aplikacja MySii

• Opieka medyczna

Wymagania

• Minimum 4 lata doświadczenia w projektach związanych z przetwarzaniem i integracją dużych wolumenów danych

• Bardzo dobra znajomość SQL oraz Python

• Doświadczenie w pracy z frameworkami do przetwarzania danych takimi jak Apache Spark / PySpark

• Praktyczne doświadczenie w projektowaniu i budowie rozwiązań Data Lake oraz Data Warehouse

• Umiejętność budowania i utrzymywania pipeline’ów ETL/ELT oraz pracy z narzędziami do orkiestracji i integracji danych

• Komercyjne doświadczenie w projektach opartych o rozwiązania chmurowe Microsoft Azure i/lub AWS w obszarze przetwarzania danych (np. Databricks, AWS Glue, EMR, Azure Data Factory, Synapse)

• Znajomość koncepcji przetwarzania danych w środowisku rozproszonym oraz optymalizacji pipeline’ów danych

• Umiejętność swobodnej komunikacji w języku angielskim

• Wymagana płynna znajomość języka polskiego

• Wymagane przebywanie na terenie Polski

Zakres obowiązków

• Projektowanie, budowanie i rozwijanie skalowalnych oraz wysokowydajnych platform przetwarzania danych w architekturze Data Lake / Data Platform

• Tworzenie oraz utrzymanie pipeline’ów ETL/ELT do integracji danych z różnych źródeł oraz ich przetwarzania w środowiskach chmurowych (Azure lub AWS)

• Modelowanie danych oraz przygotowywanie struktur danych dostosowanych do potrzeb analitycznych i biznesowych

• Implementacja rozwiązań do przetwarzania danych (batch i/lub near real-time)

• Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów oraz procesów przetwarzania danych

• Współpraca z analitykami danych, zespołami BI oraz Data Science w zakresie przygotowania i udostępniania danych

• Zbieranie wymagań biznesowych oraz proponowanie optymalnych rozwiązań technologicznych

• Tworzenie i utrzymywanie dokumentacji technicznej dla rozwijanych rozwiązań

• Wsparcie oraz mentoring mniej doświadczonych członków zespołu, dzielenie się wiedzą i najlepszymi praktykami

Opis

Chcesz rozwijać swoje kompetencje w technologiach chmurowych? Dołącz do naszej wyspecjalizowanej jednostki skupiającej ekspertów z dziedziny procesowania i analizy danych w ramach Centrum Kompetencyjnego Data & Analytics. Oferujemy również rozwój w obszarach Data Science, Big Data i Machine Learning. Projektowanie, budowanie i rozwijanie skalowalnych oraz wysokowydajnych platform przetwarzania danych w architekturze Data Lake / Data Platform Tworzenie oraz utrzymanie pipeline’ów ETL/ELT do integracji danych z różnych źródeł oraz ich przetwarzania w środowiskach chmurowych (Azure lub AWS) Modelowanie danych oraz przygotowywanie struktur danych dostosowanych do potrzeb analitycznych i biznesowych Implementacja rozwiązań do przetwarzania danych (batch i/lub near real-time) Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów oraz procesów przetwarzania danych Współpraca z analitykami danych, zespołami BI oraz Data Science w zakresie przygotowania i udostępniania danych Zbieranie wymagań biznesowych oraz proponowanie optymalnych rozwiązań technologicznych Tworzenie i utrzymywanie dokumentacji technicznej dla rozwijanych rozwiązań Wsparcie oraz mentoring mniej doświadczonych członków zespołu, dzielenie się wiedzą i najlepszymi praktykami Minimum 4 lata doświadczenia w projektach związanych z przetwarzaniem i integracją dużych wolumenów danych Bardzo dobra znajomość SQL oraz Python Doświadczenie w pracy z frameworkami do przetwarzania danych takimi jak Apache Spark / PySpark Praktyczne doświadczenie w projektowaniu i budowie rozwiązań Data Lake oraz Data Warehouse Umiejętność budowania i utrzymywania pipeline’ów ETL/ELT oraz pracy z narzędziami do orkiestracji i integracji danych Komercyjne doświadczenie w projektach opartych o rozwiązania chmurowe Microsoft Azure i/lub AWS w obszarze przetwarzania danych (np. Databricks, AWS Glue, EMR, Azure Data Factory, Synapse) Znajomość koncepcji przetwarzania danych w środowisku rozproszonym oraz optymalizacji pipeline’ów danych Umiejętność swobodnej komunikacji w języku angielskim Wymagana płynna znajomość języka polskiego Wymagane przebywanie na terenie Polski Great Place to Work Stabilna sytuacja finansowa Kontrakty z globalnymi markami Centrum szkoleń wewnętrznych Wielu ekspertów, od których możesz się uczyć Otwarty i dostępny zarząd Profit sharing Program Sponsoringu Pasji Cykliczne imprezy i wyjazdy integracyjne Komfortowe i dobrze wyposażone biura Aplikacja MySii Opieka medyczna