Senior Data Engineer

Opis stanowiskaDołącz do zespołu rozwijającego enterprise’ową platformę danych dla rynku finansowego, wspierającą analitykę.Poszukujemy Senior Data Engineera odpowiedzialnego za projektowanie, rozwój i utrzymanie wysokowydajnych rozwiązań przetwarzających duże wolumeny danych w trybie near real-time.Platforma obsługuje miliony komunikatów dziennie, zapewniając odświeżanie danych nawet co 1 sekundę. Obejmuje także archiwizację z 2-letnią retencją, integrację z systemami komunikacyjnymi, w tym RabbitMQ, oraz wymagania dotyczące wysokiej dostępności, wydajności i skalowalności.WymaganiaKilka doświadczenia z PostgreSQL i bardzo dobra znajomość SQL.Praktyczna znajomość PL/pgSQL, w tym procedur, funkcji i triggerów.Doświadczenie w relacyjnym modelowaniu danych, normalizacji i denormalizacji.Praktyka w pracy z dużymi wolumenami danych oraz systemami wysokiej dostępności.Doświadczenie w optymalizacji zapytań SQL, procesów ETL i wydajności baz danych.Umiejętność analizy planów wykonania, strojenia indeksów i monitorowania PostgreSQL.Znajomość systemu Linux.Wykształcenie wyższe techniczne lub ścisłe.Język angielski na poziomie minimum B2.Kluczowe obszary technicznePostgreSQL i modelowanie danychZnajomość architektury PostgreSQL, partycjonowania tabel oraz indeksów.PL/pgSQLTworzenie procedur, funkcji i triggerów oraz implementacja logiki biznesowej w warstwie bazodanowej.Performance tuning i monitoringAnaliza planów wykonania, optymalizacja SQL, strojenie indeksówETL i near real-time processingProjektowanie i optymalizacja procesów ETL dla wielu milionów komunikatów dziennie, z odświeżaniem danych co sekundęData architecture i integracjeProjektowanie wysokodostępnych, skalowalnych rozwiązań oraz integracja z systemami komunikacyjnymi, w szczególności RabbitMQ.Mile widzianePython — automatyzacja i przetwarzanie danych.Kafka lub RabbitMQ — przetwarzanie komunikatów i strumieni danych.Apache Airflow — orkiestracja procesów danych; Spark lub Beam.Doświadczenie z CI/CD.Doświadczenie w sektorze bankowym, finansowym etc.Znajomość technologii Big Data.Znajomość GCP, Rust, BigQuery, narzędzi OCRCo zyskujesz dołączając do Bluesoft: 👨‍💻 Współpracę w zespole interdyscyplinarnych ekspertów – entuzjastów technologii, ceniących bezpośredniość i partnerskie relacje;📈 Długoterminowe zaangażowanie projektowe w firmie, która nieprzerwanie od ponad 20 lat rozwija się na rynku IT;🚀 Udział w różnorodnych projektach IT realizowanych dla rozpoznawalnych klientów – liderów w swoich branżach;🥇 Dostęp do najnowszych technologii i środowisko oparte na najwyższych standardach inżynieryjnych;⌚️ Elastyczne warunki realizacji usług – hybrydowo lub w pełni zdalnie, dopasowane indywidualnie do charakteru współpracy (każdy zespół ustala to samodzielnie);☁ Ekosystem wymiany wiedzy i rozwoju: szkolenia wewnętrzne, gildie tematyczne, szkolenia i certyfikacje Cloud w ramach partnerstw technologicznych z czterema dostawcami chmury;📣 Dostęp do nauki języka angielskiego lub niemieckiego online oraz grupowe zajęcia językowe;🏋️‍♂️ Możliwość przystąpienia do Multisport i prywatnej opieki medycznej na preferencyjnych warunkach wynegocjowanych przez Bluesoft;⛵️ Morskie przygody – rejsy po Morzu Karaibskim, Śródziemnym i Północnym z dofinansowaniem ze strony Bluesoft.