Data Engineer

Opis

Rodzaj umowy: kontrakt B2B Czas trwania projektu: Pierwszy kontrakt 12 miesięcy Start: ASAP Opis roli: Świadczenie usług z obszaru Data Engineering w branży energetycznej Zadania: budowa, rozwój i utrzymanie platformy CDP w technologii Data Lakehouse (GCP) Wymagania: Minimum 3 lata doświadczenia w Data Engineer Wykształcenie wyższe (preferowane kierunki: Matematyka, Informatyka, Ekonomia, Analityka, Zarządzanie Produktem). Udział w kilku projektach budowy rozwiązań cloud w roli Data Engineer Bardzo dobre umiejętności komunikacyjne oraz organizacyjne. Umiejętność efektywnej współpracy z zespołami IT i Project Managerami technicznymi. Znajomość języka angielskiego na poziomie umożliwiającym pracę w środowisku międzynarodowym Wymagania Technologiczne:Google Cloud Platform (GCP): Znajomość kluczowych usług Data & Analytics:BigQuery: Wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań.Cloud Storage: Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.Cloud Dataflow (Apache Beam): Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.Cloud Composer (Apache Airflow): Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań.Datastream: Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).Dataplex: Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Lineage.Pub/Sub: Praca z systemami kolejkowania komunikatów do integracji strumieniowej.Dataform: Doświadczenie w tworzeniu, testowaniu i zarządzaniu transformacjami danych w SQL w BigQuery.Python: Znajomość języka, w tym bibliotek do przetwarzania danych (Pandas).SQL: Znajomość SQL (ANSI SQL, dialekt BigQuery) do transformacji, analizy i modelowania danych.Architektura Medalionowa (Bronze, Silver, Gold): Doświadczenie w implementacji i utrzymaniu tej architektury.ETL/ELT: Zrozumienie procesów ekstrakcji, transformacji i ładowania danych.Data Governance: Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).Deduplikacja Danych: Projektowanie i implementacja strategii deduplikacji klientów, zarządzanie regułami łączenia i wykluczania.Wersjonowanie Danych (Data Versioning): Zrozumienie technik nieracjonowania schematów i danych.Git: Znajomość systemów kontroli wersji (strategie branchingu, Pull Requests).CI/CD: Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build).Monitorowanie i Alertowanie: Konfiguracja Cloud Monitoring i Cloud Logging. Google Cloud Platform (GCP): Znajomość kluczowych usług Data & Analytics: BigQuery: Wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań. Cloud Storage: Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania. Cloud Dataflow (Apache Beam): Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie. Cloud Composer (Apache Airflow): Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań. Datastream: Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery). Dataplex: Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Lineage. Pub/Sub: Praca z systemami kolejkowania komunikatów do integracji strumieniowej. Dataform: Doświadczenie w tworzeniu, testowaniu i zarządzaniu transformacjami danych w SQL w BigQuery. Python: Znajomość języka, w tym bibliotek do przetwarzania danych (Pandas). SQL: Znajomość SQL (ANSI SQL, dialekt BigQuery) do transformacji, analizy i modelowania danych. Architektura Medalionowa (Bronze, Silver, Gold): Doświadczenie w implementacji i utrzymaniu tej architektury. ETL/ELT: Zrozumienie procesów ekstrakcji, transformacji i ładowania danych. Data Governance: Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO). Deduplikacja Danych: Projektowanie i implementacja strategii deduplikacji klientów, zarządzanie regułami łączenia i wykluczania. Wersjonowanie Danych (Data Versioning): Zrozumienie technik nieracjonowania schematów i danych. Git: Znajomość systemów kontroli wersji (strategie branchingu, Pull Requests). CI/CD: Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build). Monitorowanie i Alertowanie: Konfiguracja Cloud Monitoring i Cloud Logging. Jak będzie wyglądał proces rekrutacji: Twoje CV zostanie zweryfikowane przez rekrutera Hays Rekruter skontaktuje się z Tobą telefonicznie – 15-minutowa rozmowa o projekcie i Twoim doświadczeniu Rozmowa techniczna z klientem Oferta Witamy w projekcie! Hays Poland sp. z o.o. jest agencją zatrudnienia zarejestrowaną w rejestrze prowadzonym przez Marszałka Województwa Mazowieckiego pod numerem 361

Płaca

• 100 -130 pln/h (net+vat)

• Stawka: 100 – 130 pln/h (net+vat)

Zakres obowiązków

• Hays IT Contracting to współpraca oparta na zasadach B2B. Nasza firma dopasowuje specjalistów IT do najciekawszych projektów technologicznych na rynku. Dołącz do grona 500 zadowolonych Kontaktorów i pracuj dla Klientów Hays! Obecnie poszukujemy specjalisty do świadczenia usług z obszaru: Data Engineering

Informacje dodatkowe

• Nr ref.: 1200732

• Lokalizacja: Polska

• Rodzaj pracy: Kontrakt