Flink Data Engineer

Lumen Dynamics to zaufany partner biznesowy w drodze do cyfrowej przyszłości. Posiadamy prawie 20-letnie doświadczenie na rynku IT w Polsce i poza jej granicami. Prowadzimy działania w oparciu o transparentne i szczere relacje. Tworzymy innowacyjne rozwiązania technologiczne, kreując przy tym interesujące i rozwojowe środowisko pracy dla naszych ekspertów. Obecnie zatrudniamy 550 konsultantów, którzy świadczą usługi IT dla Klientów na całym świecie. Nasza główna siedziba mieści się w Warszawie, poza tym mamy biura w Rumunii oraz Wielkiej Brytanii. Posiadamy również własne R&D Center, które jest miejscem powstawania innowacyjnych projektów m.in.: w obszarach testów, Big Data, Cloud czy AI.W ramach naszych usług tworzymy szyte na miarę rozwiązania, utrzymujemy i rozwijamy nawet najbardziej wymagające systemy IT. Działamy w takich modelach biznesowych jak managed services, fixed prices oraz wspieramy zespoły naszych klientów w modelach scale up the team. Naszymi klientami są firmy z wielu zróżnicowanych branż, szukające wsparcia najwyższej klasy ekspertów. Poszukujemy Flink Data Engineera , który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie systemów do przetwarzania danych w czasie rzeczywistym. Praca zdalna. Opis stanowiska: Rozwój i ulepszanie potoków przesyłania strumieniowego w czasie rzeczywistym z wykorzystaniem Apache Flink Migracja i dostosowanie zadań Flink (DataStream API) do nowych standardów platformy Aktualizacja platformy Flink do wersji 2.0 Projektowanie i utrzymanie odpornych na błędy architektur przesyłania strumieniowego Migracja dużych zbiorów danych z BigQuery do Data Cloud Storage Automatyzacja i skalowanie procesów migracji danych Konwersja danych z Avro do Parquet z optymalizacją wydajności i storage Wykorzystanie narzędzi AI do usprawnienia migracji, walidacji i transformacji danych Oczekiwania: Bardzo dobra znajomość Apache Flink (DataStream API, utrzymanie i upgrade do Flink 2.0) Doświadczenie w architekturze streamingu: wydajność, state management, fault tolerance Migracje dużych zbiorów danych z BigQuery oraz konwersja Avro → Parquet Projektowanie i automatyzacja skalowalnych procesów migracyjnych z zachowaniem integralności danych Praktyczne doświadczenie w korzystaniu z asystentów opartych na sztucznej inteligencji Dobra znajomość GCP, systemów rozproszonych, ewolucji schematów i optymalizacji storage’u Oferujemy: Umowę B2B lub umowę o pracę Pracę z najnowszymi technologiami Pakiet benefitów: Medicover (rozszerzony o stomatologię), karta sportowa FitProfit Finansowanie certyfikatów technicznych Lektoraty języka angielskiego Stabilne zatrudnienie Przyjazną atmosferę pracy