Lead Data Engineer / Architect (Databricks)

Kim jest Nimbus Data Systems? Jesteśmy firmą konsultingową, która pomaga klientom w automatyzacji procesów biznesowych przy pomocy AI, a specjalistom IT rozwijać karierę w modelu B2B. Oferujemy projekty z branż takich jak fintech, medtech, edutech czy automatyka przemysłowa. Dzięki ścisłej współpracy wspieramy rozwój naszych klientów poprzez dostarczanie szybkich i mierzalnych efektów, jednocześnie zapewniając specjalistom IT możliwości rozwoju kariery i zdobywania cennego doświadczenia. Dlaczego warto z nami współpracować? ✨ Elastyczność – Wybierasz projekty dopasowane do swoich umiejętności i zainteresowań, z możliwością zmiany w ramach naszej firmy lub grupy Euvic, której jesteśmy częścią. 💡 Przejrzystość – Masz jasne zasady współpracy i pełną transparentność wynagrodzenia oraz warunków. 🚀 Szybkość działania – Dzięki naszej efektywności szybko znajdziesz lub zmienisz projekt, który idealnie odpowiada Twoim kompetencjom. 🌟 Możliwość rozwoju – Pracujesz przy innowacyjnych projektach, rozwijając kluczowe kompetencje i zdobywając cenne doświadczenie. Do projektu naszego klienta poszukujemy Lead Data Engineer / Architect (Databricks)! Zakres obowiązków Audyt i Naprawa (Recovery): Szybka ocena istniejącego kodu Databricks/ADF i identyfikacja luk względem kontraktu (SoW). Weryfikacja Architektury: Walidacja i ewentualna korekta modelu Medallion (Bronze/Silver/Gold) oraz konfiguracji Unity Catalog. Hands-on Engineering: Portowanie widoków z SQL Server do Databricks SQL, budowa potoków ADF i modelowanie warstwy Gold. Wdrożenie CI/CD: Konfiguracja i nadzór nad automatyzacją wdrożeń (Dev/Test/Prod) przez Azure DevOps. Testowanie i Rekonsyliacja: Stworzenie frameworku sprawdzającego poprawność danych między źródłami SQL Server a Lakehousem. Wsparcie Lidera Projektu: Udział w spotkaniach z klientem jako główny autorytet techniczny i raportowanie postępów. Wymagania (Must-have) Databricks Expert: Minimum kilka wdrożeń produkcyjnych (Delta Lake, Databricks SQL, Unity Catalog). Azure Data Factory: Biegłość w budowie potoków, obsługa Self-Hosted IR oraz wzorców CDC. Deep SQL & Python: Bardzo silna znajomość T-SQL (analiza legacy) oraz Pythona pod kątem inżynierii danych. Data Modelling: Doświadczenie w projektowaniu schematów gwiazdy (Star Schema) i struktur Fact/Dimension. Azure Infrastructure: Znajomość ADLS Gen2 oraz podstaw sieciowych (Private Endpoints, VNets). Senior Delivery: Umiejętność samodzielnego planowania pracy i podejmowania decyzji pod presją czasu. Mile widziane (Nice to have) Microsoft Purview: Znajomość narzędzi do data governance i lineage. Databricks Lakeflow: Doświadczenie z nowymi funkcjonalnościami orkiestracji. Power BI: Orientacja w tym, jak model danych w Lakehousie wpływa na finalne raporty i ich wydajność. Doświadczenie Konsultingowe: Umiejętność sprawnego komunikowania ryzyk i zmian architektury interesariuszom biznesowym.