Data Engineer with MS Fabric (f / m/x) - Regular

Opis

Szukamy doświadczonego Data Engineera do długoterminowego projektu w Warszawie, skoncentrowanego na przetwarzaniu i analizie danych. Będziesz częścią dynamicznego zespołu pracującego z Microsoft Fabric, projektującego i wdrażającego potoki danych, zapewniając wysoką jakość integracji i transformacji danych. Ta hybrydowa rola oferuje elastyczność pracy zdalnej przy ścisłej współpracy z zespołami biznesowymi i interesariuszami. Jeśli pasjonujesz się wykorzystaniem danych do generowania wniosków i rozwiązań, ta oferta może być dla Ciebie odpowiednia.

Benefity

• Great Place to Work

• Stabilna sytuacja finansowa

• Kontrakty z globalnymi markami

• Centrum szkoleń wewnętrznych

• Wielu ekspertów, od których możesz się uczyć

• Otwarty i dostępny zarząd

• Profit sharing

• Program Sponsoringu Pasji

• Cykliczne imprezy i wyjazdy integracyjne

• Komfortowe i dobrze wyposażone biura

• Aplikacja MySii

• Opieka medyczna

Wymagania

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych

• Znajomość Pythona (PySpark) i SQL do obsługi dużych zbiorów danych

• Praktyczne doświadczenie z platformami do przetwarzania danych w chmurze, takimi jak Microsoft Fabric, Azure Synapse lub Databricks

• Znajomość warstwowej architektury danych (medallion lub podobnej) oraz formatów Delta/Parquet

• Doświadczenie w pracy z Gitem w środowisku zespołowym

• Umiejętność integracji różnych źródeł, w tym plików Excel od użytkowników biznesowych

• Gotowość do podpisania NDA i przejścia weryfikacji bezpieczeństwa

• Biegła znajomość języka polskiego

Zakres obowiązków

• Projektowanie i implementacja potoków danych w Data Factory oraz notatnikach PySpark w Microsoft Fabric

• Wprowadzanie źródeł plików i baz danych, w tym walidacja techniczna i standaryzacja formatów

• Transformacja i przygotowanie danych wsadowych do analizy

• Wdrażanie reguł walidacji jakości danych oraz mechanizmów raportowania błędów

• Wersjonowanie zbiorów danych oraz rejestrowanie metadanych procesu (parametry, źródła, wersje)

• Praca w środowisku Git, zarządzanie repozytoriami kodu, wdrożenia CI/CD oraz przeglądy kodu

• Współpraca z zespołem ds. ryzyka w celu ustalania reguł transformacji

• Zapewnienie zgodności z przepisami o ochronie danych osobowych oraz integracja standardów bezpieczeństwa firmy w środowisku Azure

• Optymalizacja procesów pod kątem wydajności i kosztów