Lead Data Architect

Lead Data Architect
Realizujemy długoterminowy projekt dla klienta z branży ubezpieczeniowej w Wielkiej Brytanii.
Projekt obejmuje rozwój i modernizację całego ekosystemu cyfrowego – od gateway’ów integracyjnych, przez portale webowe i aplikacje mobilne, aż po nowoczesną platformę danych.
Obszar Data składa się z kilku zespołów pracujących z różnymi technologiami, m.in. Snowflake, ClickHouse oraz Microsoft SQL Server. Klient aktywnie rozwija swoje rozwiązania chmurowe i modernizuje istniejącą architekturę danych.
Szukamy osoby, która pomoże uporządkować i rozwinąć architekturę przepływu danych – nie tylko zaprojektować rozwiązania na papierze, ale również wesprzeć ich realną implementację.
To rola dla osoby, która łączy bardzo dobrą znajomość SQL Server internals, doświadczenie w CDC (Change Data Capture) oraz kompetencje architektoniczne.
Poszukujemy Principal Data Replication Architecta, który będzie odpowiedzialny za projektowanie strategii replikacji danych oraz architektury przepływu danych w dużym środowisku enterprise.
Szukamy osoby, która:
– rozumie wewnętrzne mechanizmy działania SQL Server,
– potrafi projektować rozwiązania replikacyjne na poziomie platformy,
– zna ograniczenia i możliwości różnych podejść CDC,
– potrafi podejmować decyzje architektoniczne oraz komunikować je interesariuszom.
– Projektowanie architektury replikacji danych wykorzystującej:
– SQL Server Native CDC,
– log-based capture,
– Change Tracking,
– batch, streaming oraz hybrydowe modele przesyłania danych.
– Projektowanie strategii:
– incremental data movement,
– ciągłości LSN,
– retencji CDC,
– odzyskiwania danych,
– failover oraz failback.
– Analiza i optymalizacja działania SQL Server, w szczególności:
– transaction log,
– VLF management,
– log backup chain,
– log reuse waits,
– AlwaysOn Availability Groups,
– CDC capture oraz cleanup jobs.
– Projektowanie docelowej architektury przepływu danych oraz ocena różnych podejść:
– SQL Server Native CDC,
– Qlik Replicate,
– Debezium,
– HVR,
– inne rozwiązania CDC.
– Definiowanie strategii zapewniających:
– spójność danych,
– możliwość ponownego przetwarzania,
– mechanizmy reconciliation,
– obsługę zmian schematu danych.
– Współpraca z zespołami DBA oraz Data:
– definiowanie standardów replikacji,
– poprawa niezawodności platformy,
– wsparcie techniczne i mentoring.
– Przygotowywanie dokumentacji architektonicznej oraz prezentowanie rozwiązań technicznych stakeholderom.
– Doświadczenie eksperckie z Microsoft SQL Server.
– Bardzo dobra znajomość:
– transaction log internals,
– LSN progression,
– log truncation,
– CDC capture i cleanup mechanisms,
– wpływu AlwaysOn Availability Groups na CDC.
– Praktyczne doświadczenie produkcyjne z:
– SQL Server Native CDC,
– projektowaniem incremental loads,
– obsługą dużych wolumenów danych,
– monitorowaniem opóźnień replikacji.
– Doświadczenie w projektowaniu architektury danych end-to-end.
– Umiejętność:
– tworzenia diagramów architektonicznych,
– dokumentowania rozwiązań,
– analizy kompromisów technologicznych.
– Bardzo dobra znajomość języka angielskiego – codzienna współpraca z klientem z Wielkiej Brytanii.
– Doświadczenie z:
– Qlik Replicate,
– Debezium,
– Kafka CDC,
– Oracle GoldenGate,
– HVR,
– Fivetran.
– Znajomość:
– Snowflake,
– procesów ingestowania danych,
– Data Quality Frameworks,
– Infrastructure as Code,
– rozwiązań chmurowych.
– Microsoft SQL Server
– SQL Server CDC
– AlwaysOn Availability Groups
– Snowflake
– ClickHouse
– Qlik Replicate / narzędzia CDC
– Cloud Data Platforms
– 100% pracę zdalną.
– Długoterminowy projekt – pierwsza umowa na 6 miesięcy z możliwością kontynuacji nawet do 2 lat.
– Stabilną współpracę przy dużym projekcie dla klienta z Wielkiej Brytanii.
– Realny wpływ na architekturę i rozwój platformy danych.
– Pracę z zespołami Data, DBA oraz architektami.
– Start projektu ASAP (możliwość rozpoczęcia w ciągu ok. 1–1,5 miesiąca).
Forma współpracy: B2B
Model pracy: 100% remote
Język projektu: angielski
Start: ASAP