Data Engineer with GCP (f / m/x) - Senior

Benefity

• Great Place to Work

• Stabilna sytuacja finansowa

• Kontrakty z globalnymi markami

• Centrum szkoleń wewnętrznych

• Wielu ekspertów, od których możesz się uczyć

• Otwarty i dostępny zarząd

• Profit sharing

• Program Sponsoringu Pasji

• Cykliczne imprezy i wyjazdy integracyjne

• Komfortowe i dobrze wyposażone biura

• Aplikacja MySii

• Opieka medyczna

Wymagania

• Minimum 5 lat komercyjnego doświadczenia na stanowisku Data Engineer lub podobnym

• Bardzo dobra znajomość Google Cloud Platform, w szczególności Dataproc, Dataflow, BigQuery oraz Cloud Composer

• Wcześniejsza praca w projektach migracyjnych

• Doskonała znajomość Python - ETL, pipeline’y danych, automatyzacja

• Dobra znajomość Java, szczególnie w kontekście przetwarzania danych - Spark, Beam, batch/streaming

• Doświadczenie w projektowaniu i realizacji złożonych pipeline’ów danych w środowiskach produkcyjnych

• Praktyczna znajomość narzędzi orkiestracji, automatyzacji i CI/CD (np. Airflow, Git, Terraform)

• Umiejętność architektowania rozwiązań danych w GCP z uwzględnieniem bezpieczeństwa, data governance i kontroli dostępu

• Bardzo dobra znajomość języka angielskiego

• Samodzielność w podejmowaniu decyzji technicznych oraz umiejętność pracy zespołowej

• Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego

Zakres obowiązków

• Udział w migracji platformy danych z środowiska on-premise do Google Cloud Platform

• Analiza istniejących rozwiązań legacy oraz rekomendowanie docelowej architektury danych w chmurze

• Projektowanie i implementacja pipeline’ów danych (batch i streaming) w środowisku produkcyjnym

• Praca z usługami GCP, w szczególności Dataproc, Dataflow, BigQuery, Cloud Composer

• Automatyzacja procesów przetwarzania danych oraz orkiestracja workflow

• Współpraca z zespołami międzynarodowymi oraz zewnętrznym partnerem technologicznym

• Udział w warsztatach technicznych, przeglądach architektury i pracach koncepcyjnych

• Zapewnienie skalowalności, bezpieczeństwa oraz efektywności kosztowej rozwiązań

Opis

Dołącz do międzynarodowego projektu realizowanego w obszarze platform danych i rozwiązań AI, którego celem jest migracja środowiska danych z infrastruktury on-premise do Google Cloud Platform. Projekt obejmuje transformację istniejącej platformy opartej o technologie Hadoop do nowoczesnej, chmurowej architektury danych. Udział w migracji platformy danych z środowiska on-premise do Google Cloud Platform Analiza istniejących rozwiązań legacy oraz rekomendowanie docelowej architektury danych w chmurze Projektowanie i implementacja pipeline’ów danych (batch i streaming) w środowisku produkcyjnym Praca z usługami GCP, w szczególności Dataproc, Dataflow, BigQuery, Cloud Composer Automatyzacja procesów przetwarzania danych oraz orkiestracja workflow Współpraca z zespołami międzynarodowymi oraz zewnętrznym partnerem technologicznym Udział w warsztatach technicznych, przeglądach architektury i pracach koncepcyjnych Zapewnienie skalowalności, bezpieczeństwa oraz efektywności kosztowej rozwiązań Minimum 5 lat komercyjnego doświadczenia na stanowisku Data Engineer lub podobnym Bardzo dobra znajomość Google Cloud Platform, w szczególności Dataproc, Dataflow, BigQuery oraz Cloud Composer Wcześniejsza praca w projektach migracyjnych Doskonała znajomość Python - ETL, pipeline’y danych, automatyzacja Dobra znajomość Java, szczególnie w kontekście przetwarzania danych - Spark, Beam, batch/streaming Doświadczenie w projektowaniu i realizacji złożonych pipeline’ów danych w środowiskach produkcyjnych Praktyczna znajomość narzędzi orkiestracji, automatyzacji i CI/CD (np. Airflow, Git, Terraform) Umiejętność architektowania rozwiązań danych w GCP z uwzględnieniem bezpieczeństwa, data governance i kontroli dostępu Bardzo dobra znajomość języka angielskiego Samodzielność w podejmowaniu decyzji technicznych oraz umiejętność pracy zespołowej Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego Great Place to Work Stabilna sytuacja finansowa Kontrakty z globalnymi markami Centrum szkoleń wewnętrznych Wielu ekspertów, od których możesz się uczyć Otwarty i dostępny zarząd Profit sharing Program Sponsoringu Pasji Cykliczne imprezy i wyjazdy integracyjne Komfortowe i dobrze wyposażone biura Aplikacja MySii Opieka medyczna