Senior Cloud Data Engineer (GCP)

O projekcie Dołącz do zespołu budującego i rozwijającego platformę integracji danych opartą na Google Cloud Platform (GCP) . Rola łączy inżynierię DevOps, data engineering oraz automatyzację – z silnym naciskiem na budowę i orkiestrację potoków ETL w Apache Airflow, automatyzację wdrożeń, niezawodność platformy oraz śledzenie przepływu danych (data lineage). Platforma wykorzystuje Apache Airflow do orkiestracji potoków ETL i umożliwia i niezawodny przepływ danych – od systemów źródłowych, przez platformę, aż do systemów docelowych partnerów. Kluczowym obszarem jest rozwój procesów ETL, usprawnianie automatyzacji i pipeline’ów wdrożeniowych oraz wdrażanie data lineage, aby zapewnić przejrzyste, wizualne śledzenie przepływu danych od początku do końca. Lokalizacja: Kraków, praca hybrydowa - 2 dni z biura . Twoje zadania Rozwój i utrzymanie pipeline’ów (ETL / integracje danych) Rozwój platformy i jej komponentów Budowa i utrzymanie CI/CD oraz automatyzacji Praca z workflowami w Apache Airflow Optymalizacja procesów i zwiększanie niezawodności Automatyzacja operacji i redukcja pracy manualnej Rozwiązywanie problemów na styku: dane / infrastruktura / pipeline’y Współpraca z zespołem i interesariuszami Wymagania Szukamy inżynierów z doświadczeniem min. 6+ lat , którzy mają solidne podstawy w jednym z obszarów i chcą rozwijać się dalej. Must-have (core): doświadczenie w: DevOps / Platform Engineering / Cloud lub Data Engineering dobra znajomość GCP lub innej chmury doświadczenie w pracy z systemami przetwarzania danych lub integracjami praktyka w przynajmniej części z obszarów: ETL / pipeline’y danych Apache Airflow lub podobne narzędzia CI/CD automatyzacja SQL lub inny sposób pracy z danymi (nie musi być ekspercki poziom) podejście do budowy skalowalnych i niezawodnych systemów umiejętność rozwiązywania problemów komunikatywność i praca zespołowa Mile widziane doświadczenie z BigQuery głębsza znajomość Data Engineering (ETL, modelowanie danych) doświadczenie w data lineage / data governance automatyzacja testów (np. performance / regresja) praca przy systemach dużej skali