Data Engineer – Data Lake (f / m/x) - Senior

Benefity

• Great Place to Work

• Stabilna sytuacja finansowa

• Kontrakty z globalnymi markami

• Centrum szkoleń wewnętrznych

• Wielu ekspertów, od których możesz się uczyć

• Otwarty i dostępny zarząd

• Profit sharing

• Program Sponsoringu Pasji

• Cykliczne imprezy i wyjazdy integracyjne

• Komfortowe i dobrze wyposażone biura

• Aplikacja MySii

• Opieka medyczna

Wymagania

• Duże doświadczenie na stanowiskach związanych z Data Engineer lub Big Data

• Biegła znajomość języka Python, Scala lub Java

• Praktyczne doświadczenie z narzędziami takimi jak Apache Spark, PySpark lub podobnymi frameworkami.

• Wcześniejsza praca z technologiami Data Lake (np. AWS S3, Azure Data Lake, Databricks, BigQuery)

• Znajomość procesów ETL/ELT i narzędzi do orkiestracji (np. Airflow, Data Factory)

• Dobre zrozumienie SQL i modelowania danych

• Doświadczenie z systemami rozproszonymi i przetwarzaniem danych na dużą skalę

• Znajomość narzędzi Docker i Kubernetes

• Silne umiejętności analityczne i rozwiązywania problemów

• Wymagana biegła znajomość języka polskiego

• Wymagane miejsce zamieszkania w Polsce

Zakres obowiązków

• Projektowanie i rozwijanie skalowalnych pipeline'ów danych do przetwarzania wsadowego i w czasie rzeczywistym

• Budowanie i optymalizacja architektury Data Lake dla analitycznych przypadków użycia

• Integracja wielu źródeł danych i zapewnienie płynnego przepływu danych między systemami

• Zapewnienie jakości, spójności i zarządzania danymi (pochodzenie danych, kontrola dostępu)

• Optymalizacja wydajności przechowywania i przetwarzania danych przy użyciu nowoczesnych formatów danych i strategii partycjonowania

• Monitorowanie, rozwiązywanie problemów i poprawa wydajności potoku danych

• Współpraca z interesariuszami w celu przełożenia potrzeb biznesowych na rozwiązania techniczne

• Przestrzeganie najlepszych praktyk w zakresie inżynierii danych i ciągłe ulepszanie platformy

Opis

Dołączysz do międzynarodowego projektu w branży opieki zdrowotnej i nauk przyrodniczych, koncentrującego się na budowaniu i rozwijaniu nowoczesnej platformy Data Lake wspierającej przetwarzanie i analizę danych na dużą skalę. Rozwiązanie umożliwia podejmowanie decyzji w oparciu o dane w ściśle regulowanym środowisku, z silnym naciskiem na jakość danych, bezpieczeństwo i zgodność z przepisami. Środowisko jest oparte na chmurze i wykorzystuje nowoczesne technologie Big Data oraz najlepsze praktyki inżynieryjne. Jako Data Engineer będziesz odpowiedzialny za projektowanie, rozwój i utrzymanie pipeline'ów danych oraz architektury Data Lake. Będziesz ściśle współpracować z wielofunkcyjnymi zespołami, w tym z Data Scientist i interesariuszami biznesowymi, aby dostarczać niezawodne i wydajne rozwiązania w zakresie danych. Projektowanie i rozwijanie skalowalnych pipeline'ów danych do przetwarzania wsadowego i w czasie rzeczywistym Budowanie i optymalizacja architektury Data Lake dla analitycznych przypadków użycia Integracja wielu źródeł danych i zapewnienie płynnego przepływu danych między systemami Zapewnienie jakości, spójności i zarządzania danymi (pochodzenie danych, kontrola dostępu) Optymalizacja wydajności przechowywania i przetwarzania danych przy użyciu nowoczesnych formatów danych i strategii partycjonowania Monitorowanie, rozwiązywanie problemów i poprawa wydajności potoku danych Współpraca z interesariuszami w celu przełożenia potrzeb biznesowych na rozwiązania techniczne Przestrzeganie najlepszych praktyk w zakresie inżynierii danych i ciągłe ulepszanie platformy Duże doświadczenie na stanowiskach związanych z Data Engineer lub Big Data Biegła znajomość języka Python, Scala lub Java Praktyczne doświadczenie z narzędziami takimi jak Apache Spark, PySpark lub podobnymi frameworkami. Wcześniejsza praca z technologiami Data Lake (np. AWS S3, Azure Data Lake, Databricks, BigQuery) Znajomość procesów ETL/ELT i narzędzi do orkiestracji (np. Airflow, Data Factory) Dobre zrozumienie SQL i modelowania danych Doświadczenie z systemami rozproszonymi i przetwarzaniem danych na dużą skalę Znajomość narzędzi Docker i Kubernetes Silne umiejętności analityczne i rozwiązywania problemów Wymagana biegła znajomość języka polskiego Wymagane miejsce zamieszkania w Polsce Great Place to Work Stabilna sytuacja finansowa Kontrakty z globalnymi markami Centrum szkoleń wewnętrznych Wielu ekspertów, od których możesz się uczyć Otwarty i dostępny zarząd Profit sharing Program Sponsoringu Pasji Cykliczne imprezy i wyjazdy integracyjne Komfortowe i dobrze wyposażone biura Aplikacja MySii Opieka medyczna