Big Data Developer with Apache Spark (f / m/x) - Regular

Opis

Poszukujemy osoby na stanowisko Big Data Developer do projektu realizowanego dla klienta z sektora bankowego. W tej roli będziesz rozwijać i utrzymywać rozwiązania oparte na technologii Spark, przetwarzające duże wolumeny danych w środowisku Hadoop Cloudera/Hortonworks. Jeśli masz doświadczenie w pracy z PySpark i solidne podstawy inżynierii danych, rozumiesz koncepcje hurtowni danych oraz dbasz o zachowanie dobrych praktyk programistycznych – to może być pozycja właśnie dla Ciebie. Praca w modelu hybrydowym: 2 razy w miesiącu z biura klienta w Warszawie. Projektowanie i rozwijanie rozwiązań Big Data z wykorzystaniem Apache Spark Przetwarzanie i integracja danych z różnych źródeł w środowisku Hadoop Modelowanie danych oraz optymalizacja procesów przetwarzania Praca z różnymi formatami danych (JSON, PARQUET, ORC, AVRO) Projektowanie, kodowanie, testowanie i wdrażanie rozwiązań zgodnie z dobrymi praktykami inżynierskimi Współpraca z zespołami analityków i inżynierów danych w środowisku Agile Min. 2 lata doświadczenia w programowaniu w Apache Spark (preferowany PySpark) Bardzo dobra znajomość koncepcji Big Data, hurtowni danych i zarządzania danymi Doświadczenie w środowisku Hadoop Cloudera/Hortonworks Umiejętność pracy z dużymi zbiorami danych i ich integracji z wielu źródeł Znajomość języka SQL na poziomie zaawansowanym Wykształcenie wyższe techniczne (preferowane kierunki informatyczne lub pokrewne) Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego Great Place to Work Stabilna sytuacja finansowa Kontrakty z globalnymi markami Centrum szkoleń wewnętrznych Wielu ekspertów, od których możesz się uczyć Otwarty i dostępny zarząd Profit sharing Program Sponsoringu Pasji Cykliczne imprezy i wyjazdy integracyjne Komfortowe i dobrze wyposażone biura Aplikacja MySii Opieka medyczna

Benefity

• Great Place to Work

• Stabilna sytuacja finansowa

• Kontrakty z globalnymi markami

• Centrum szkoleń wewnętrznych

• Wielu ekspertów, od których możesz się uczyć

• Otwarty i dostępny zarząd

• Profit sharing

• Program Sponsoringu Pasji

• Cykliczne imprezy i wyjazdy integracyjne

• Komfortowe i dobrze wyposażone biura

• Aplikacja MySii

• Opieka medyczna

Wymagania

• Min. 2 lata doświadczenia w programowaniu w Apache Spark (preferowany PySpark)

• Bardzo dobra znajomość koncepcji Big Data, hurtowni danych i zarządzania danymi

• Doświadczenie w środowisku Hadoop Cloudera/Hortonworks

• Umiejętność pracy z dużymi zbiorami danych i ich integracji z wielu źródeł

• Znajomość języka SQL na poziomie zaawansowanym

• Wykształcenie wyższe techniczne (preferowane kierunki informatyczne lub pokrewne)

• Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego

Zakres obowiązków

• Projektowanie i rozwijanie rozwiązań Big Data z wykorzystaniem Apache Spark

• Przetwarzanie i integracja danych z różnych źródeł w środowisku Hadoop

• Modelowanie danych oraz optymalizacja procesów przetwarzania

• Praca z różnymi formatami danych (JSON, PARQUET, ORC, AVRO)

• Projektowanie, kodowanie, testowanie i wdrażanie rozwiązań zgodnie z dobrymi praktykami inżynierskimi

• Współpraca z zespołami analityków i inżynierów danych w środowisku Agile