Data Engineer

Poszukujemy doświadczonego Data Engineera do samodzielnej realizacji projektów budowy platform danych dla klientów przemysłowych i produkcyjnych. Osoba na tym stanowisku odpowiada za cały cykl — od analizy potrzeb u klienta, przez projekt architektury, po implementację i uruchomienie rozwiązania.TWÓJ ZAKRES OBOWIĄZKÓWZbieranie i uzgadnianie wymagań bezpośrednio z klientem — z przedstawicielami biznesu oraz działów ITAnaliza systemów i źródeł danych klienta, ocena jakości danych i komunikowanie wykrytych problemówProjektowanie architektury platform danych: warstwy surowej, hurtowni oraz systemów analitycznychProjektowanie i implementacja modeli baz oraz hurtowni danychProjektowanie i implementacja rozwiązań klasy data lakeBudowa procesów ETL/ELT z wykorzystaniem platform integracji danych, rozszerzanych o Python i SparkAutomatyzacja, monitoring oraz wdrożenie produkcyjne rozwiązańWsparcie klienta po wdrożeniu i rozwój platformy o kolejne źródła danychNASZE WYMAGANIADoświadczenie w analizie wymagań, również w bezpośredniej pracy z klientemDoświadczenie w projektowaniu i implementacji baz oraz hurtowni danychDoświadczenie w projektowaniu i implementacji data lake'ówDoświadczenie w budowie procesów ETL/ELT z wykorzystaniem platform integracji danychZnajomość Pythona i Apache SparkUmiejętność samodzielnego prowadzenia zadań od analizy po wdrożenieKomunikatywność i umiejętność tłumaczenia zagadnień technicznych osobom nietechnicznymGotowość do okazjonalnych wyjazdów do klienta (1–3 razy w kwartale)MILE WIDZIANEDoświadczenie w pracy z klientami przemysłowymi lub produkcyjnymi (systemy MES, ERP, SCADA, dane z czujników)Znajomość metodyk modelowania hurtowni danych Doświadczenie z wdrożeniami on-premiseZnajomość formatów tabelarycznychŚRODOWISKO TECHNOLOGICZNEŹródła danych: Oracle, MS SQL, PostgreSQL, APIETL/ELT i orkiestracja: Apache Airflow, Apache NiFi, Apache Spark, PythonData lake: MinIOBaza transakcyjna: PostgreSQL