Senior Data Platform Engineer (Databricks)

💰 Stawka: 175–210 PLN/h (B2B) 📍 Tryb pracy: 100% zdalnie z Polski 🌍 Branża: lotnicza 🗣️ Język: angielski B2/C1 ✈️ O projekcie: Dołączysz do międzynarodowego projektu w sektorze lotniczym, gdzie budowany jest system do monitorowania i analizy pracy silników lotniczych. System zbiera dane telemetryczne z pracy silników, przetwarza je w czasie rzeczywistym i wspiera podejmowanie decyzji poprzez analizy trendów i wizualizacje. Obecnie rozwijana jest platforma typu agentic data processing, gdzie modele ML i komponenty analityczne działają jako współpracujący „agenci” podejmujący decyzje w oparciu o dane. 🧩 Twoja rola: Będziesz uczestniczyć w projektowaniu architektury całego rozwiązania opartego o Databricks – od danych, przez ML, po warstwę operacyjną. Co będziesz robić: Projektować architekturę end-to-end w oparciu o Databricks (Lakehouse + ML) Budować pipeline’y danych w czasie rzeczywistym (Structured Streaming, Delta Lake) Zarządzać cyklem życia modeli (MLflow, monitoring, retraining, A/B testy) Tworzyć rozwiązania low-latency do serwowania modeli (auto-scaling, routing) Wdrażać governance i bezpieczeństwo danych (Unity Catalog, compliance) Optymalizować wydajność i koszty (autoscaling, monitoring, spot usage) Definiować procesy wdrożeniowe (blue-green, alerting, runbooki) Współpracować z zespołami engineering / MLOps / product Wspierać tworzenie dashboardów i workflowów human-in-the-loop Koordynować wdrożenie rozwiązania (etapy, ryzyka, metryki sukcesu) 🛠️ Technologie w projekcie: Chmura: Azure Databricks (rekomendowane) lub AWS Databricks z natywną integracją tożsamości (Azure AD / AWS IAM). Platforma Databricks: Runtime ML, Mosaic AI, Model Serving, MLflow, Unity Catalog, Delta Lake, Feature Store, AutoML, Databricks Workflows, Databricks SQL. Przetwarzanie danych: Structured Streaming do pipeline’ów czasu rzeczywistego oraz Delta Lake do przechowywania danych w modelu ACID, z funkcją time travel i wysoką niezawodnością. Języki i API: Python z natywnymi bibliotekami Databricks, REST API Databricks oraz SDK. Frontend: Dashboard oparty o React, zintegrowany z Databricks SQL do monitoringu oraz obsługi procesów typu human-in-the-loop. Bezpieczeństwo i zgodność: Szyfrowanie danych w trakcie przesyłu i w spoczynku, zarządzanie danymi klasy enterprise z wykorzystaniem Unity Catalog oraz zgodność ze standardami SOC 2 i GDPR. Monitoring i operacje: Natywne narzędzia monitoringu Databricks, własne alerty, dashboardy wydajności oraz frameworki do testów A/B. Deployment i MLOps: Endpointy modeli z autoskalowaniem, MLflow Model Registry, zautomatyzowane pipeline’y do ponownego trenowania modeli oraz wdrożenia typu blue-green. ✅ Wymagania: Doświadczenie z architekturą w środowisku Databricks Lakehouse Znajomość: Delta Lake, MLflow, Unity Catalog, Model Serving, Feature Store Praktyka w budowie systemów real-time / low-latency (ML serving) Mocne kompetencje w MLOps (monitoring, wersjonowanie, retraining) Doświadczenie z chmurą (Azure lub AWS) i bezpieczeństwem danych Bardzo dobra znajomość Pythona Umiejętność pracy z API i budowy rozwiązań end-to-end Doświadczenie w optymalizacji kosztów i wydajności systemów Praca przy dużych systemach produkcyjnych (enterprise scale) 📍 Mile widziane: Doświadczenie z telemetry / time-series / danymi przemysłowymi Znajomość Mosaic AI i podejścia agentowego Certyfikaty Databricks 📋 Proces rekrutacyjny: Rozmowa HR + weryfikacja angielskiego Rozmowa techniczna Decyzja Co oferujemy: 💰 Atrakcyjne wynagrodzenie 🏠Możliwość współpracy 100% zdalnie z Polski 🌍 Projekt dla międzynarodowego klienta (sektor lotniczy) 🧠 Praca przy zaawansowanych systemach AI/ML i danych czasu rzeczywistego 🚀 Duży wpływ na architekturę i decyzje technologiczne 🏗️ Nowoczesny stack (Databricks, MLflow, Delta Lake, Mosaic AI) 🤝 Współpraca z międzynarodowym zespołem 📈 Rozwój w obszarze Data/ML/Architektury