Senior Data Engineer (Azure)

Nasz Klient to międzynarodowa organizacja rozwijająca nowoczesne środowisko danych wspierające przetwarzanie, integrację oraz wykorzystanie informacji w różnych obszarach biznesowych.Projekt koncentruje się na rozwoju skalowalnej platformy danych w środowisku Azure. Zakres współpracy obejmuje budowę i optymalizację procesów przetwarzania danych, rozwój pipeline’ów oraz wykorzystanie Azure Databricks, Azure Data Lake i Azure Data Factory.Do realizacji projektu poszukujemy osoby do współpracy w roli Senior Data Engineer. Istotnym elementem roli będzie projektowanie rozwiązań uwzględniających wydajność, niezawodność oraz skalowalność przetwarzania dużych wolumenów danych.📍 Tryb Współpracy: 100% zdalnie⏱️ Dostępność: Poszukujemy osób dostępnych od zaraz lub z maksymalnie 1-miesięczną dostępnością🧑‍💻 CZYM BĘDZIESZ SIĘ ZAJMOWAĆ?Projektowaniem i rozwijaniem skalowalnych pipeline’ów oraz procesów przetwarzania danych w środowisku AzureRozwojem rozwiązań wykorzystujących Azure Databricks do transformacji i przetwarzania dużych zbiorów danychBudową oraz rozwojem warstwy przechowywania danych opartej na Azure Data LakeTworzeniem i utrzymywaniem procesów integracji oraz orkiestracji danych z wykorzystaniem Azure Data FactoryImplementacją procesów transformacji danych w Pythonie i SQLIntegracją danych pochodzących z różnych systemów i źródełOptymalizacją pipeline’ów, zapytań oraz procesów przetwarzania pod kątem wydajności i skalowalnościMonitorowaniem jakości i poprawności przetwarzanych danych oraz diagnozowaniem problemów w przepływach danychRozwijaniem mechanizmów wspierających niezawodność i utrzymywalność platformy danychUdziałem w podejmowaniu decyzji technicznych dotyczących architektury i dalszego rozwoju środowiska Data🔍 CZEGO OD CIEBIE OCZEKUJEMY?Must have:Minimum 6 lat komercyjnego doświadczenia w Data EngineeringBardzo dobra, praktyczna znajomość Azure Databricks w rozwiązaniach produkcyjnychDoświadczenie w projektowaniu i rozwijaniu rozwiązań wykorzystujących Azure Data LakeBardzo dobra znajomość Azure Data Factory oraz doświadczenie w tworzeniu i orkiestracji pipeline’ów danychBardzo dobra znajomość SQL, w tym tworzenie złożonych zapytań i optymalizacja operacji na danychBardzo dobra znajomość Pythona w kontekście przetwarzania i transformacji danychDoświadczenie w projektowaniu procesów ETL/ELT oraz integracji danych z wielu źródełUmiejętność optymalizacji wydajności procesów przetwarzania dużych wolumenów danychDoświadczenie w analizowaniu problemów związanych z jakością, spójnością i przepływem danychUmiejętność samodzielnego projektowania rozwiązań oraz podejmowania decyzji technicznych w obszarze Data EngineeringZnajomość języka angielskiego na poziomie minimum C1, umożliwiająca swobodną komunikację w międzynarodowym środowisku projektowymNice to have:Doświadczenie z architekturą LakehouseZnajomość Delta LakeDoświadczenie z rozwiązaniami CI/CD dla pipeline’ów i platform danychZnajomość zagadnień związanych z data quality, monitoringiem oraz governance danych🤝 DLACZEGO WARTO?Udział w projekcie opartym na Azure Databricks, Azure Data Lake i Azure Data FactoryRozwój skalowalnej platformy przetwarzającej dane pochodzące z wielu źródełZłożone zagadnienia obejmujące integrację, transformację, jakość oraz optymalizację przetwarzania danychUdział w podejmowaniu decyzji dotyczących rozwiązań technicznych oraz dalszego rozwoju architektury platformy danych📍 Dziękujemy za wszystkie zgłoszenia! Skontaktujemy się z wybranymi osobami.TQLO Sp. z o.o. – Agencja Zatrudnienia (nr KRAZ 33580)