Data Engineer

Requirements:
Minimum 3 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji lub przetwarzania danych Praktyczne doświadczenie w pracy z Google Cloud Platform, w szczególności z BigQuery, Cloud Storage i Pub/Sub Praktyczna znajomość Oracle, w tym tworzenia i optymalizacji zapytań SQL oraz pracy z dużymi wolumenami danych Doświadczenie developerskie z Informatica PowerCenter, umożliwiające samodzielną analizę i modyfikację procesów ETL Znajomość zagadnień modelowania danych oraz projektowania procesów przetwarzania danych Umiejętność optymalizacji zapytań SQL pod kątem wydajności Znajomość zagadnień związanych z jakością, spójnością i walidacją danych Doświadczenie w przygotowywaniu i przeprowadzaniu testów oraz tworzeniu dokumentacji technicznej
Must have: Python, GCP, BigQuery, pub/sub, Oracle, SQL, PostgreSQL, ETL, Informatica PowerCenter
Daily tasks: - Projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub
– Migracja i przebudowa procesów przetwarzania oraz zasilania danych ze środowisk Oracle/on-premise do GCP
– Projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), z uwzględnieniem kontroli jakości danych, obsługi błędów i mechanizmów ponawiania
– Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz optymalizacji kosztów
– Analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i środowisk GCP
– Tworzenie, analiza i optymalizacja zapytań SQL, w tym analiza planów wykonania i identyfikacja wąskich gardeł przy przetwarzaniu dużych wolumenów danych
– Analiza istniejących procesów Informatica PowerCenter oraz ich migracja do rozwiązań docelowych w GCP
– Implementacja logiki transformacji, walidacji i integracji danych z wykorzystaniem SQL oraz Python
– Przeprowadzanie analiz technicznych, analiz wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązań
– Przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresyjnych i UAT
– Przygotowywanie zmian do wdrożenia, instrukcji wdrożeniowych oraz wsparcie wdrożeń i weryfikacji powdrożeniowej
– Diagnozowanie i rozwiązywanie incydentów związanych z przetwarzaniem i jakością danych
– Tworzenie i aktualizacja dokumentacji technicznej oraz praca z repozytoriami kodu i procesami CI/CD zgodnie z podejściem DevOps