Senior Data Engineer

Kim jesteśmy?Lumicode jest częścią Grupy Pentacomp – polskiej grupy IT z ponad 30-letnim doświadczeniem. Realizujemy projekty dla dużych organizacji i sektora publicznego.Aktualnie szukamy Data Warehouse Developera z Oracle oraz SAS do długoterminowego projektu IT z branży ubezpieczeniowej.Osoba na tym stanowisku będzie pracować przy rozwoju narzędzi i komponentów wspierających procesy związane z przetwarzaniem danych, integracją systemów, automatyzacją oraz budową rozwiązań analitycznych.Oferujemy:Współpraca na B2BWspółpraca zdalnaStawka do 180 pln/h netto na B2B +VATMożliwość skorzystania z prywatnej opieki medycznej oraz z karty sportowejDla naszego Klienta poszukujemy Senior Data Engineera, który dołączy do zespołu Labeling Data Platform.Na tym stanowisku będziesz odpowiedzialny/a za projektowanie, budowę oraz utrzymanie skalowalnych pipeline’ów danych i data products w środowisku Azure Databricks Lakehouse. Będziesz współpracować z przedstawicielami biznesu, specjalistami ds. labeling, Solution Architectami, Developerami oraz odbiorcami danych, dbając o ich wysoką jakość, niezawodność, audytowalność i zgodność z wymaganiami regulacyjnymi.Szukamy osoby, która łączy bardzo dobre umiejętności praktyczne w zakresie Data Engineering z doświadczeniem w nowoczesnych rozwiązaniach Azure, architekturze Databricks Lakehouse oraz pracy z danymi w środowiskach regulowanych.Zakres obowiązkówProjektowanie, rozwój i utrzymanie pipeline’ów danych z wykorzystaniem Azure Databricks, Python, PySpark, Spark SQL oraz Delta Lake.Projektowanie i implementacja rozwiązań zgodnie z architekturą Bronze → Silver → Gold (Medallion Architecture).Pobieranie i przetwarzanie danych z API, plików JSON, Azure Storage oraz systemów korporacyjnych.Budowanie i utrzymywanie mechanizmów Data Quality, walidacji, uzgadniania danych (reconciliation), monitoringu oraz automatycznych testów danych.Implementacja reguł jakości danych, walidacji schematów oraz kontroli operacyjnych.Optymalizacja wydajności, partycjonowania i skalowalności procesów przetwarzania danych.Implementacja procesów CI/CD, automatycznych testów, obsługi błędów oraz reprocessingu danych.Zapewnienie traceability, audytowalności i odtwarzalności procesów oraz kontrolowanych wydań pipeline’ów w środowisku regulowanym.Współpraca z zespołami biznesowymi i technicznymi przy projektowaniu oraz rozwoju platformy danych.WymaganiaBardzo dobra znajomość Azure Databricks oraz doświadczenie w pracy z Python/PySpark, Spark SQL i Delta Lake.Bardzo dobra znajomość architektury Bronze → Silver → Gold / Medallion Architecture.Doświadczenie w integracji i przetwarzaniu danych z API, JSON oraz plików.Praktyczna znajomość Azure Data Lake Storage Gen2 (ADLS Gen2) i Azure Storage.Doświadczenie z Databricks Workflows / Jobs; znajomość Delta Live Tables / Lakeflow będzie dodatkowym atutem.Znajomość schema enforcement i schema evolution.Doświadczenie w implementacji reguł Data Quality, walidacji i reconciliation.Znajomość procesów transformacji i standaryzacji danych.Doświadczenie w obszarze metadata management oraz data lineage.Znajomość Unity Catalog i zagadnień związanych z governance.Doświadczenie w projektowaniu procesów API-based ingestion/export.Doświadczenie w pracy z metadanymi dokumentów oraz referencjami do zasobów PDF/eLabel.Znajomość technik performance optimization i data partitioning.Doświadczenie w konfiguracji CI/CD dla notebooków i kodu oraz automatyzacji testów danych.Znajomość mechanizmów monitoringu, error handling i reprocessingu.Doświadczenie w pracy z pipeline’ami danych wymagającymi traceability, auditability, reproducibility oraz controlled releases.Doświadczenie w środowiskach regulowanych, w których obowiązują wysokie wymagania dotyczące compliance i jakości danych.Język angielski – znajomość umożliwiająca swobodną komunikację w środowisku międzynarodowym.Mile widzianeDoświadczenie w branży farmaceutycznej, medycznej lub innym środowisku silnie regulowanym.Znajomość procesów związanych z eLabeling / regulatory content.Doświadczenie z Delta Live Tables / Lakeflow.Znajomość zagadnień związanych z zarządzaniem metadanymi i data lineage.