Engenheiro de Dados Sr.
Extractta | São Paulo - SP | Remoto
A Extractta, consultoria especializada em tecnologia da informação e soluções Data Driven, está apoiando uma companhia de grande porte na busca por um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto estratégico de construção e evolução de pipelines em ambiente cloud-native. Esta é uma oportunidade desafiadora para quem deseja trabalhar com grandes volumes de dados e arquiteturas modernas, com foco em governança, segurança e alta performance.
Faixa salarial
A combinar
Regime de contratação
CLT, PJ
Benefícios
Construir e manter pipelines de dados em tempo real e em batch, garantindo ingestão, transformação e exposição dos dados de vendas.
Atuar em soluções orientadas à performance e escalabilidade, com atenção às diretrizes de LGPD e segurança.
Trabalhar em um ambiente ágil, colaborando com arquitetos, analistas e equipes de sustentação.
Conduzir práticas de versionamento, deduplicação e enriquecimento de dados em pipelines complexos.
Participar ativamente de decisões arquiteturais e sugerir melhorias contínuas nos processos e soluções de dados.
Experiência em engenharia de dados com foco em ingestão de alto volume (ex: >100MM registros/dia).
Sólido domínio em Apache Spark (preferencialmente em notebooks Databricks).
Experiência prática com MongoDB Atlas: modelagem orientada a documentos, índices, TTL, expurgo de dados.
Conhecimento em Databricks SQL e Delta Tables para armazenamento e consulta analítica.
Vivência com orquestração de pipelines via Control-M ou similar (ex: Airflow).
Familiaridade com EventHub e Service Bus para ingestão de dados em streaming ou near real-time.
Prática com versionamento de dados, deduplicação, particionamento e enriquecimento em pipelines.
Experiência com testes unitários e de integração em pipelines de dados.
Conhecimento sólido em modelagem de dados relacional e não relacional.
Experiência em projetos com ambientes Azure Cloud (Databricks, Storage, EventHub, etc.).
Experiência em projetos que envolvam migração de dados de Oracle (PL/SQL) para ambientes distribuídos.
Conhecimento em ferramentas de governança de dados, como Microsoft Purview.
Experiência com Power BI ou Tableau como ferramenta de validação de dados de consumo.
Conhecimento de boas práticas de FinOps para otimização de custo em pipelines.
Experiência com anonimização de dados PCI, retenção e expurgo controlado.
Conhecimento em CI/CD para pipelines de dados, uso de Git, Azure DevOps e integração com ambientes UAT/PROD.
Certificações desejáveis:
- Databricks Certified Data Engineer
- MongoDB Associate Developer
- Microsoft Azure Data Engineer (DP-203)
- Fundamentos de LGPD ou ISO 27701
A Extractta destaca-se no mercado como uma empresa especializada em tecnologia da informação dedicada a fornecer serviços profissionais e ferramentas avançadas com o objetivo de impulsionar e acelerar o crescimento do negócio de nossos clientes.
Com um forte enfoque em soluções orientada por dados, somos reconhecidos por nossa abordagem Data Driven, que nos permite entregar resultados excepcionais e impulsionar a inovação contínua.
Engenheiro de Dados Sr.
Extractta | São Paulo - SP | Remoto
Descrição da vaga
A Extractta, consultoria especializada em tecnologia da informação e soluções Data Driven, está apoiando uma companhia de grande porte na busca por um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto estratégico de construção e evolução de pipelines em ambiente cloud-native. Esta é uma oportunidade desafiadora para quem deseja trabalhar com grandes volumes de dados e arquiteturas modernas, com foco em governança, segurança e alta performance.
Responsabilidades e atribuições
Construir e manter pipelines de dados em tempo real e em batch, garantindo ingestão, transformação e exposição dos dados de vendas.
Atuar em soluções orientadas à performance e escalabilidade, com atenção às diretrizes de LGPD e segurança.
Trabalhar em um ambiente ágil, colaborando com arquitetos, analistas e equipes de sustentação.
Conduzir práticas de versionamento, deduplicação e enriquecimento de dados em pipelines complexos.
Participar ativamente de decisões arquiteturais e sugerir melhorias contínuas nos processos e soluções de dados.
Requisitos e qualificações
Experiência em engenharia de dados com foco em ingestão de alto volume (ex: >100MM registros/dia).
Sólido domínio em Apache Spark (preferencialmente em notebooks Databricks).
Experiência prática com MongoDB Atlas: modelagem orientada a documentos, índices, TTL, expurgo de dados.
Conhecimento em Databricks SQL e Delta Tables para armazenamento e consulta analítica.
Vivência com orquestração de pipelines via Control-M ou similar (ex: Airflow).
Familiaridade com EventHub e Service Bus para ingestão de dados em streaming ou near real-time.
Prática com versionamento de dados, deduplicação, particionamento e enriquecimento em pipelines.
Experiência com testes unitários e de integração em pipelines de dados.
Conhecimento sólido em modelagem de dados relacional e não relacional.
Experiência em projetos com ambientes Azure Cloud (Databricks, Storage, EventHub, etc.).
Experiência em projetos que envolvam migração de dados de Oracle (PL/SQL) para ambientes distribuídos.
Requisitos desejáveis
Conhecimento em ferramentas de governança de dados, como Microsoft Purview.
Experiência com Power BI ou Tableau como ferramenta de validação de dados de consumo.
Conhecimento de boas práticas de FinOps para otimização de custo em pipelines.
Experiência com anonimização de dados PCI, retenção e expurgo controlado.
Conhecimento em CI/CD para pipelines de dados, uso de Git, Azure DevOps e integração com ambientes UAT/PROD.
Certificações desejáveis:
- Databricks Certified Data Engineer
- MongoDB Associate Developer
- Microsoft Azure Data Engineer (DP-203)
- Fundamentos de LGPD ou ISO 27701
Faixa salarial
A combinar
Regime de contratação
CLT, PJ
Sobre a empresa
A Extractta destaca-se no mercado como uma empresa especializada em tecnologia da informação dedicada a fornecer serviços profissionais e ferramentas avançadas com o objetivo de impulsionar e acelerar o crescimento do negócio de nossos clientes.
Com um forte enfoque em soluções orientada por dados, somos reconhecidos por nossa abordagem Data Driven, que nos permite entregar resultados excepcionais e impulsionar a inovação contínua.