Data Engineer (AI & Streaming)

Poszukujemy osoby na stanowisko Data Engineer do projektu realizowanego w międzynarodowym środowisku technologicznym. Rola łączy obszary Data Engineering, AI/LLM oraz rozwój nowoczesnych pipeline’ów danych wykorzystywanych w środowiskach enterprise-scale. Zakres obowiązków Projektowanie i rozwój pipeline’ów przetwarzania danych Transformacja danych do ustandaryzowanych formatów wykorzystywanych przez systemy downstreamowe Tworzenie oraz rozwój logiki transformacji SQL Rozwój rozwiązań opartych o Kafka, Spark/Flink oraz architekturę event-driven Implementacja rozwiązań AI/LLM wspierających procesy engineeringowe Integracja workflowów AI z CI/CD Rozwój automatyzacji testów i walidacji jakości danych Zarządzanie lifecycle’em schematów i compatibility validation Współpraca z zespołami platformowymi i architektonicznymi Tworzenie dokumentacji technicznej oraz wsparcie release managementu Wymagania Minimum kilkuletnie doświadczenie w obszarze Data Engineering Bardzo dobra znajomość Kafka oraz architektury event-driven Doświadczenie z Spark lub Flink Bardzo dobra znajomość SQL Doświadczenie w pracy z Kubernetes Znajomość zagadnień związanych z AI/LLM oraz automatyzacją procesów developerskich Umiejętność projektowania pipeline’ów danych i pracy z JSON Komunikatywna znajomość języka angielskiego Mile widziane doświadczenie z Airflow oraz Snowflake