Engenheiro de Dados Sênior
FitS | Fortaleza - CE | Presencial
Faixa salarial
A combinar
Regime de contratação
PJ
Benefícios
Descanso remunerado (30 dias)
Remuneração Variável (Bonificação)
Além disso, contamos com o Programa Partnership: após 1 ano de empresa, você poderá ser convidado a se tornar sócio da companhia! 🚀
- Desenvolver e evoluir processos de ingestão, transformação e disponibilização de dados;
- Construir e otimizar ETLs/ELTs utilizando SQL Server, Databricks e demais tecnologias da plataforma;
- Atuar na arquitetura e evolução de Data Lakes, Lakehouses e Data Warehouses;
- Trabalhar com dados provenientes de SQL Server, MongoDB, S3 e outras fontes;
- Desenvolver pipelines batch e, quando necessário, fluxos de dados em near real-time ou streaming;
- Implementar estratégias de CDC, cargas incrementais e processamento distribuído;
- Garantir performance e eficiência de consultas, pipelines e processamento de grandes volumes de dados;
- Atuar com Apache Spark e otimização de workloads distribuídos;
- Estruturar camadas de dados confiáveis e reutilizáveis para consumo analítico e operacional;
- Apoiar a governança, catalogação, lineage e organização dos dados no Databricks;
- Viabilizar o consumo de dados por ferramentas como Databricks Genie AI;
- Implementar controles de qualidade, consistência, completude e rastreabilidade dos dados;
- Criar monitoramento e observabilidade para pipelines, cargas e processos críticos;
- Aplicar boas práticas de segurança, controle de acesso e proteção de dados;
- Apoiar práticas de CI/CD e versionamento para pipelines e artefatos de dados;
- Participar da definição de padrões, arquiteturas e boas práticas para a plataforma de dados;
- Apoiar times de negócio e tecnologia na criação e evolução de produtos de dados;
- Identificar oportunidades de otimização de performance, armazenamento e custos de processamento.
- Experiência sólida em Engenharia de Dados;
- Domínio de SQL Server, incluindo SQL avançado, ETLs, modelagem e otimização de performance;
- Experiência com Databricks e desenvolvimento de pipelines de dados;
- Experiência com Apache Spark / PySpark;
- Conhecimento de arquitetura de Data Lake, Lakehouse e Data Warehouse;
- Experiência com MongoDB e Amazon S3;
- Conhecimento sólido de Python e SQL;
- Experiência com modelagem de dados relacional, dimensional e analítica;
- Conhecimento de processamento batch, cargas incrementais e grandes volumes de dados;
- Experiência com orquestração e automação de pipelines;
- Conhecimento de qualidade, governança e observabilidade de dados;
- Experiência com Git, CI/CD e práticas de engenharia aplicadas a dados;
- Capacidade de diagnosticar gargalos e problemas de performance em pipelines e consultas.
- Experiência com Delta Lake e arquitetura Lakehouse;
- Conhecimento de governança, catálogo e lineage no Databricks;
- Experiência com Genie AI ou soluções de consumo de dados utilizando IA;
- Conhecimento de Unity Catalog;
- Experiência com ferramentas de orquestração como Databricks Workflows, Airflow ou similares;
- Experiência com Kafka, Event Hubs ou outras tecnologias de streaming;
- Conhecimento de Data Contracts e Data Products;
- Experiência com estratégias de particionamento, otimização de arquivos e gestão de storage;
- Conhecimento de segurança e controle de acesso em plataformas de dados;
- Experiência com FinOps aplicado a workloads de dados e otimização de consumo em Cloud;
- Vivência com ambientes de alta volumetria e criticidade;
- Experiência no mercado financeiro, meios de pagamento ou fintechs.
*Ao se candidatar você concorda com a Política de Privacidade
Engenheiro de Dados Sênior
FitS | Fortaleza - CE | Presencial
Descrição da vaga
Responsabilidades e atribuições
- Desenvolver e evoluir processos de ingestão, transformação e disponibilização de dados;
- Construir e otimizar ETLs/ELTs utilizando SQL Server, Databricks e demais tecnologias da plataforma;
- Atuar na arquitetura e evolução de Data Lakes, Lakehouses e Data Warehouses;
- Trabalhar com dados provenientes de SQL Server, MongoDB, S3 e outras fontes;
- Desenvolver pipelines batch e, quando necessário, fluxos de dados em near real-time ou streaming;
- Implementar estratégias de CDC, cargas incrementais e processamento distribuído;
- Garantir performance e eficiência de consultas, pipelines e processamento de grandes volumes de dados;
- Atuar com Apache Spark e otimização de workloads distribuídos;
- Estruturar camadas de dados confiáveis e reutilizáveis para consumo analítico e operacional;
- Apoiar a governança, catalogação, lineage e organização dos dados no Databricks;
- Viabilizar o consumo de dados por ferramentas como Databricks Genie AI;
- Implementar controles de qualidade, consistência, completude e rastreabilidade dos dados;
- Criar monitoramento e observabilidade para pipelines, cargas e processos críticos;
- Aplicar boas práticas de segurança, controle de acesso e proteção de dados;
- Apoiar práticas de CI/CD e versionamento para pipelines e artefatos de dados;
- Participar da definição de padrões, arquiteturas e boas práticas para a plataforma de dados;
- Apoiar times de negócio e tecnologia na criação e evolução de produtos de dados;
- Identificar oportunidades de otimização de performance, armazenamento e custos de processamento.
Requisitos e qualificações
- Experiência sólida em Engenharia de Dados;
- Domínio de SQL Server, incluindo SQL avançado, ETLs, modelagem e otimização de performance;
- Experiência com Databricks e desenvolvimento de pipelines de dados;
- Experiência com Apache Spark / PySpark;
- Conhecimento de arquitetura de Data Lake, Lakehouse e Data Warehouse;
- Experiência com MongoDB e Amazon S3;
- Conhecimento sólido de Python e SQL;
- Experiência com modelagem de dados relacional, dimensional e analítica;
- Conhecimento de processamento batch, cargas incrementais e grandes volumes de dados;
- Experiência com orquestração e automação de pipelines;
- Conhecimento de qualidade, governança e observabilidade de dados;
- Experiência com Git, CI/CD e práticas de engenharia aplicadas a dados;
- Capacidade de diagnosticar gargalos e problemas de performance em pipelines e consultas.
Requisitos desejáveis
- Experiência com Delta Lake e arquitetura Lakehouse;
- Conhecimento de governança, catálogo e lineage no Databricks;
- Experiência com Genie AI ou soluções de consumo de dados utilizando IA;
- Conhecimento de Unity Catalog;
- Experiência com ferramentas de orquestração como Databricks Workflows, Airflow ou similares;
- Experiência com Kafka, Event Hubs ou outras tecnologias de streaming;
- Conhecimento de Data Contracts e Data Products;
- Experiência com estratégias de particionamento, otimização de arquivos e gestão de storage;
- Conhecimento de segurança e controle de acesso em plataformas de dados;
- Experiência com FinOps aplicado a workloads de dados e otimização de consumo em Cloud;
- Vivência com ambientes de alta volumetria e criticidade;
- Experiência no mercado financeiro, meios de pagamento ou fintechs.
*Ao se candidatar você concorda com a Política de Privacidade
*Ao se candidatar você concorda com a Política de Privacidade
Faixa salarial
A combinar
Regime de contratação
PJ
Benefícios
Descanso remunerado (30 dias)
Remuneração Variável (Bonificação)
Além disso, contamos com o Programa Partnership: após 1 ano de empresa, você poderá ser convidado a se tornar sócio da companhia! 🚀
Sobre a empresa