Data Engineer

Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty. Dla naszego Klienta - wiodącej międzynarodowej firmy świadczącej usługi bankowo-finansowe Data Engineera , który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie wysokowydajnych platform danych wspierających procesy analityczne w obszarze FX (Foreign Exchange). Wynagrodzenie: 120-150 PLN/h netto + VAT Lokalizacja: w pełni zdalnie (raz na kwartał wizyta w biurze- Wrocław/Poznań/Warszawa) Forma współpracy: B2B , z możliwością skorzystania z dodatkowych benefitów - karta sportowa, prywatna opieka medyczna, ubezpieczenie na życie, platforma językowa Czas trwania projektu: długofalowy kontrakt
Requirements:
Minimum 5 lat doświadczenia w pracy z PostgreSQL. Bardzo dobra znajomość SQL. Zaawansowana znajomość PostgreSQL i jego architektury. Doświadczenie w modelowaniu danych relacyjnych, normalizacji i denormalizacji. Praktyczna znajomość PL/pgSQL, w tym procedur, funkcji i triggerów. Doświadczenie w optymalizacji wydajności baz danych i analizie planów wykonania zapytań. Znajomość indeksów B-Tree, Hash, GIN, GiST i BRIN. Doświadczenie w pracy z dużymi wolumenami danych. Praktyczna znajomość integracji ETL. Znajomość zagadnień związanych z VACUUM, ANALYZE, autovacuum oraz monitoringiem wydajności. Znajomość systemu Linux. Mile widziane Podstawowa znajomość Python. Doświadczenie w pracy z RabbitMQ lub Kafka. Znajomość Apache Airflow. Doświadczenie w obszarze CI/CD. Doświadczenie w sektorze bankowym lub finansowym.
Must have: PostgreSQL, SQL, ETL, Linux
Nice to have: Python, RabbitMQ, Kafka, Apache Airflow, CI/CD
Daily tasks: - Projektowanie, rozwój i utrzymanie baz danych PostgreSQL.
– Modelowanie danych oraz projektowanie struktur bazodanowych.
– Optymalizacja wydajności zapytań SQL i procesów przetwarzania danych.
– Analiza planów wykonania zapytań oraz optymalizacja indeksów.
– Tworzenie i rozwój procedur, funkcji oraz triggerów w PL/pgSQL.
– Implementacja i optymalizacja procesów ETL.
– Praca z dużymi wolumenami danych oraz rozwiązaniami klasy Big Data.
– Zarządzanie partycjonowaniem tabel, indeksami i widokami materializowanymi.