Data Engineer

Cześć! Poznaj możliwości współpracy ze Scalo! W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych. Obszary naszej działalności obejmują m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły projektowe. Co oferujemy w ramach współpracy? możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services, zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie , dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.
Requirements:
Kompetencje wymagane do realizacji usług: doświadczenie w inżynierii danych , w szczególności w budowaniu pipeline’ów i usług przetwarzających dane (min. 3-5 lat doświadczenia), dobra znajomość Pythona lub Rusta , praktyczna znajomość wektorowych baz danych , w szczególności Qdrant , znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania danych po metadanych , doświadczenie w projektowaniu lub rozwijaniu integracji opartych na REST API , znajomość architektury sterowanej zdarzeniami ( event-driven architecture ), np. z wykorzystaniem Kafka lub Pub/Sub , dobra znajomość systemu Linux , znajomość relacyjnych baz danych, np. PostgreSQL , umiejętność projektowania i rozwijania procesów przetwarzania danych, samodzielność w analizie problemów technicznych i proponowaniu rozwiązań. Mile widziane: doświadczenie z Docker, Kubernetes i CI/CD , znajomość GCP , w tym BigQuery, Dataflow, Dataproc lub Pub/Sub, znajomość Apache Airflow, Apache Spark lub Apache Beam , doświadczenie z przetwarzaniem danych niestrukturalnych, w tym OCR, transkrypcją audio i konwersją dokumentów , znajomość grafowych baz danych, np. Neo4j , doświadczenie z Knowledge Graph, GraphRAG lub klasycznymi rozwiązaniami RAG , znajomość FastAPI .
Must have: Python, REST API, Kafka, PUB, Linux, PostgreSQL
Nice to have: Docker, Kubernetes, CI/CD, GCP, BigQuery, Apache Airflow, Apache Spark, Apache Beam, Neo4j, RAG, FastAPI
Daily tasks: - budowa i rozwój pipeline’ów danych niestrukturalnych w ramach projektu realizowanego dla obszaru sztucznej inteligencji,
– projektowanie i implementacja przepływów ETL zasilających Repozytorium Danych Niestrukturalnych oraz rozwiązania wykorzystywane przez agentów AI,
– tworzenie procesów przetwarzania danych pochodzących z dokumentów, obrazów i plików audio,
– implementacja mechanizmów ekstrakcji treści, OCR, ASR (transkrypcji audio) oraz konwersji dokumentów,
– rozwój rozwiązań wykorzystujących embeddingi, wyszukiwanie semantyczne, indeksowanie oraz filtrowanie danych po metadanych,
– integracja pipeline’ów z wektorowymi bazami danych, w szczególności Qdrant,
– projektowanie i rozwój usług przetwarzających dane z wykorzystaniem Pythona lub Rusta,
– tworzenie i integracja usług udostępniających funkcjonalności poprzez REST API,
– rozwój mechanizmów przetwarzania danych opartych na architekturze zdarzeniowej, m.in. Kafka lub Pub/Sub,
– współpraca przy projektowaniu usług kategoryzacji danych, ontologii oraz rozwiązań wspierających przetwarzanie informacji na potrzeby AI,
– analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych,
– współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI,
– model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie,
– budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.