Data Engineer

Data Engineer (Regular Expressions) W IT LeasingTeam łączymy najwyższej klasy ekspertów z prestiżowymi projektami technologicznymi. Obecnie poszukujemy Inżyniera Danych ze ścisłą specjalizacją w Regular Expressions, który dołączy do nowo budowanego zespołu wspierającego jednego z globalnych liderów branży telekomunikacyjnej. Szukamy osoby, dla której zaawansowana analiza wzorców tekstowych i optymalizacja wyrażeń regularnych to absolutny priorytet. Jeśli świetnie odnajdujesz się w budowaniu wysokowydajnych reguł ekstrakcji, rozumiesz mechanikę silników Regex (np. PCRE ) i nie przeraża Cię praca z wolumenem przekraczającym milion rekordów na sekundę – to rola właśnie dla Ciebie. Dołączysz do 7-osobowego zespołu specjalistów, tworząc od podstaw logikę przetwarzania logów w potężnym ekosystemie Big Data, gdzie wymogiem krytycznym jest zachowanie latencji poniżej 5 sekund. Informacje organizacyjne: Tryb pracy: W pełni zdalny. Forma współpracy: Kontrakt B2B z IT LeasingTeam Budżet: 130-160 PLN/h netto + VAT (z możliwością negocjacji w górę, jeśli posiadasz doświadczenie z technologiami z sekcji "Mile widziane"). Czas trwania: Współpraca długofalowa. Sektor : Telekomunikacja / Big Data. Zespół: ~7 osób. Zakres zadań: Projektowanie i optymalizacja Regex: Tworzenie od podstaw i utrzymywanie wysoce wydajnych wyrażeń regularnych dla nowych tematów logów telekomunikacyjnych. Świadome zarządzanie optymalizacją (np. stosowanie grup nieprzechwytujących i eliminacja zbędnych nawiasów ) w celu radykalnej poprawy wydajności. Przetwarzanie strumieniowe : Implementacja wzorców do procesów Spark Structure Streaming, które czytają dane bezpośrednio z Apache Kafka z prędkością ok. 1 000 000 rekordów na sekundę. Transformacja danych: Wzbogacanie, kategoryzacja oraz filtracja wyekstrahowanych informacji z surowych logów, a następnie zasilanie nimi bazy Elasticsearch. Skalowanie operacji: Projektowanie reguł w sposób umożliwiający utrzymanie wysokiej czytelności dla procesów Code Review, przy jednoczesnym spełnianiu rygorystycznych wymogów wydajnościowych (latencja Oczekiwania: Ekspertyza techniczna (Must-have): Głębokie, udokumentowane doświadczenie komercyjne w tworzeniu i optymalizowaniu Regular Expressions. Jeśli nie posiadasz klasycznego doświadczenia w Data Engineeringu, ale wywodzisz się np. ze środowisk NLP / lingwistyki komputerowej, analizy bezpieczeństwa czy administracji i jesteś mistrzem Regexów – aplikuj, porozmawiamy o możliwościach. Znajomość języków obcych: Biegła znajomość języka angielskiego w mowie i piśmie na poziomie min. B2+ (praca w środowisku w pełni międzynarodowym). Fundamenty analityczne: Umiejętność pisania skryptów wspierających (np. Python, Java ) przydatna w testowaniu i automatyzacji rozwiązań. Kierunek rozwoju: Silne zainteresowanie obszarem Big Data i chęć nauki/rozwoju w nowoczesnych architekturach danych. Mile widziany stos technologiczny: Spark, Scala, Hadoop, Airflow, Kafka, ElasticSearch (Open Distro). Oferujemy: Unikalną skalę projektu: Praca w globalnej infrastrukturze IT, gdzie Twoje autorskie wyrażenia regularne będą na żywo przetwarzać setki milionów rekordów na godzinę. Nowoczesne środowisko: Realny wpływ na architekturę strumieniowego przesyłu danych i okazję do pracy w otoczeniu topowych narzędzi Big Data. Stabilność: Długofalowy kontrakt z gwarancją rozwoju w zespole wybitnych ekspertów technicznych. Kompleksowość: Stała opieka Rekrutera po stronie Keystone AI, z regularnym aktualizowaniem procesu rekrutacyjnego, żeby było szybko i sprawnie.