Senior Data Engineer

Projekt obejmuje budowę i optymalizację pipeline’ów danych wspierających analitykę, systemy rekomendacyjne oraz rozwiązania Machine Learning. Będziesz współpracować z zespołami Data Science i Engineering, dbając o niezawodność, wydajność oraz wysoką jakość danych w środowisku produkcyjnym.
Requirements:
min. 6-letnie doświadczenie w roli Data Engineera, bardzo dobra znajomość Python, SQL oraz Spark , doświadczenie w budowie i utrzymaniu dużych pipeline’ów ETL/ELT, doświadczenie z narzędziami orkiestracyjnymi, np. Apache Airflow , praktyczne doświadczenie z chmurą: GCP, AWS lub Azure , doświadczenie w pracy z dużymi wolumenami danych, znajomość Kubernetes , dobra znajomość praktyk Software Engineering, doświadczenie z Git oraz CI/CD , samodzielność i umiejętność przejmowania odpowiedzialności za działające systemy produkcyjne, bardzo dobre umiejętności analityczne i rozwiązywania problemów, zaawansowana znajomość języka angielskiego ( min. B2 ).
Must have: Python, Spark, SQL, ETL
Daily tasks: - rozwój, utrzymanie i optymalizację skalowalnych platform danych,
– budowę i obsługę złożonych pipeline’ów ETL/ELT,
– zapewnienie niezawodności pipeline’ów przetwarzających miliardy zdarzeń dziennie,
– monitoring, observability oraz zapewnienie wysokiej jakości danych,
– rozwiązywanie problemów produkcyjnych i dbanie o stabilność infrastruktury,
– współpracę z Data Scientistami, Analystami i zespołami Engineering,
– rozwój narzędzi i frameworków wspierających Data Platform,
– pracę przy rozwiązaniach związanych z ML, streamingiem oraz systemami rekomendacyjnymi,
– utrzymywanie i rozwój infrastruktury działającej w środowisku Kubernetes/GKE,
– rozwój standardów Software Engineering i Data Engineering.