Data Engineer (Mid)

Engenheiro(a) de Dados Pleno — Databricks Modelo de trabalho: Remoto Regime de contratação: CLT Senioridade: Pleno Sobre a oportunidade Buscamos uma pessoa Engenheira de Dados Pleno para desenvolver e operar pipelines escaláveis na plataforma Databricks. Você atuará da ingestão à disponibilização dos dados para análises e produtos, contribuindo com decisões de arquitetura, qualidade, performance, segurança e confiabilidade. Principais responsabilidades Construir e manter pipelines de ingestão e transformação para dados de APIs, bancos relacionais, arquivos e data lakes. Desenvolver soluções em Python, SQL e PySpark , com código organizado, reutilizável e testável. Modelar dados em Delta Lake , aplicando cargas incrementais, operações MERGE e boas práticas de manutenção. Implementar arquiteturas Medallion (Bronze, Silver e Gold) e regras de qualidade de dados. Orquestrar jobs e pipelines, configurar dependências, parâmetros, retentativas e alertas. Monitorar execuções, investigar falhas e diagnosticar problemas de qualidade e performance. Otimizar consultas, processamento, uso de clusters e custos, medindo os resultados das melhorias. Aplicar práticas de governança e segurança, incluindo controle de acesso e proteção de dados sensíveis. Colaborar em revisões de código, testes, versionamento e implantação entre ambientes. Requisitos Experiência prática com Python, SQL avançado e PySpark . Experiência na construção e operação de pipelines de dados em Databricks . Conhecimento de Delta Lake , incluindo transações, evolução de schema, cargas incrementais e operações de atualização. Experiência com processamento batch; conhecimento de streaming é desejável. Conhecimento de arquitetura Medallion e de formatos como CSV, JSON e Parquet. Experiência com orquestração de jobs, monitoramento e tratamento de falhas. Familiaridade com Git, revisão de código e testes. Capacidade de investigar problemas, explicar decisões técnicas e atuar com autonomia. Diferenciais Experiência com Auto Loader, Structured Streaming e pipelines declarativos. Conhecimento de Unity Catalog, linhagem, auditoria e permissões. Experiência com AWS, Azure ou Google Cloud. Prática com CI/CD, infraestrutura como código e Databricks Asset Bundles ou ferramentas equivalentes. Certificação Databricks Certified Data Engineer Associate. Informações adicionais 🍛 Vale-alimentação ou vale-refeição; 👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas; 📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado; 🗣 Mentoring; 💉 Clube de vantagens para consultas e exames; 🏥 Assistência médica; 🦷 Assistência odontológica; 💰 Clube de vantagens e descontos nos melhores estabelecimentos; 🛫 Clube de viagens; 🐶 Convênio para pets. Originally posted on Himalayas