Big Data Developer (f / m/x) - Senior

Opis

Szukamy doświadczonego Big Data Developera, który dołączy do naszego wewnętrznego zespołu w SII Group India. W tej roli będziesz odpowiedzialny za budowanie i zarządzanie fundamentem danych, który napędza nasze inicjatywy AI. Inżynier będzie pracował nad pobieraniem danych, łączeniem danych, projektowaniem schematów, transformacją danych i przygotowaniem jeziora danych, zapewniając wysokiej jakości, skalowalne i gotowe do AI zbiory danych. Odegrasz kluczową rolę w umożliwieniu inżynierom AI i naukowcom danych skutecznego wykorzystywania danych przedsiębiorstwa do zaawansowanej analityki i rozwiązań AI/ML. To jest model pracy hybrydowej, a kandydaci będą zobowiązani do pracy w naszych biurach w Hyderabadzie lub Bangalore.

Benefity

• Zróżnicowane portfolio klientów

• Szeroki wachlarz technologii

• Stabilne zatrudnienie

• Możliwość pracy zdalnej

• Kontrakty z globalnymi markami

• Great Place to Work w Europie

• Wielu ekspertów, od których możesz się uczyć

• Otwarty i dostępny zarząd

Wymagania

• Minimum 5-letnie doświadczenie w pobieraniu danych, integracji danych, projektowaniu schematów, transformacji danych i rozwoju jezior danych

• Poprzednia praca w projektowaniu i zarządzaniu skalowalnymi rozwiązaniami chmurowymi hurtowni danych przy użyciu Snowflake

• Ekspertyza w budowaniu i optymalizacji pipeline'ów do pobierania i transformacji danych ETL/ELT

• Silna znajomość modelowania danych, w tym projektowania schematów, tabel i widoków

• Doświadczenie w optymalizacji wydajności zapytań i poprawie ogólnej efektywności platformy

• Praktyczne doświadczenie w orkiestracji pipeline'ów danych i automatyzacji przepływów pracy przy użyciu dbt i Airflow

• Umiejętność zapewnienia dokładności, spójności i niezawodności danych poprzez procesy jakości danych i walidacji

• Poprzednia praca w zarządzaniu bezpieczeństwem Snowflake, kontrolą dostępu i ramami zarządzania

• Znajomość pipeline'ów CI/CD i praktyk Infrastructure-as-Code przy użyciu Terraform

• Doświadczenie w wykorzystaniu Snowpark, Streams i Tasks do zaawansowanego przetwarzania danych i automatyzacji

• Biegła znajomość języka angielskiego - minimum poziom B2

Zakres obowiązków

• Projektowanie skalowalnych pipeline'ów ETL/ELT w Snowflake

• Budowanie przepływów pracy do pobierania, transformacji i integracji danych gotowych do AI

• Optymalizacja modeli danych, zapytań i wydajności platformy Snowflake

• Orkiestracja pipeline'ów danych przy użyciu dbt, Airflow, Matillion lub Fivetran

• Zapewnienie jakości danych, walidacji i niezawodności w zbiorach danych

• Zarządzanie bezpieczeństwem Snowflake, kontrolą dostępu i zarządzaniem kosztami

• Współpraca z interesariuszami w celu dostarczania skalowalnych rozwiązań danych

• Mentorowanie inżynierów i wdrażanie najlepszych praktyk inżynierii danych

• Automatyzacja wdrożeń poprzez CI/CD i Infrastructure as Code

• Rozwiązywanie problemów produkcyjnych i poprawa stabilności platformy

• Ocena nowych możliwości Snowflake w celu wzmocnienia inicjatyw związanych z danymi i AI