Data Engineer (Python)

Dla naszego klienta szukamy osoby na stanowisko Data Engineera, którego głónym zadaniem będzie prowadzenie automatyzacji procesu pobierania danych, zastępując ręczne procesy bezpośrednią integracją z API lub hurtownią danych.
Requirements:
Zaawansowana znajomość Pythona oraz SQL Praktyczne doświadczenie z Terraform oraz Airflow Bardzo dobra znajomość Google BigQuery oraz usług Google Cloud Platform (Cloud Functions, Dataflow) Znajomość angielskiego na poziomie min. B2 Gotowość do udziału w rotacyjnym wsparciu w rozszerzonych godzinach pracy (8:00–20:00) Gotowość do pelnienia dyzurów on-call 24/7. Nice to have Doświadczenie z Dataform lub dbt do zarządzania złożonymi warstwami transformacji danych Znajomość Fivetran Doświadczenie z API systemów rozliczeniowych Znajomość języków Go lub Java
Must have: Python, SQL, Terraform, Airflow, BigQuery, GCP
Nice to have: Dataform, dbt, Fivetran, API, Go, Java
Daily tasks: - Prowadzenie automatyzacji procesu pobierania danych, zastępując ręczne procesy bezpośrednią integracją z API lub hurtownią danych.
– Projektowanie modeli w SQL i Pythonie uwzględniających złożone ścieżki subskrybentów
– Wdrażanie oraz zarządzanie harmonogramami pipeline'ów.
– Przeprowadzanie pełnego odtworzenia danych historycznych oraz testów porównawczych, aby upewnić się, że nowy zautomatyzowany system odpowiada (lub poprawia) trzy lata historycznych danych finansowych.
– Pełnienie roli pomostu pomiędzy działem Finansów a zespołem Inżynierii
– Udział w rotacyjnym wsparciu w rozszerzonych godzinach pracy (8:00–20:00)
– Dyżury on-call