Engenheiro(a) de Dados PL
Stefanini IHM | Belo Horizonte - MG | Híbrido
Vaga afirmativa PcD
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar em projetos de soluções de TI com forte componente de dados, em ambientes industriais de média e alta complexidade.
A posição terá atuação direta na construção, evolução e sustentação de pipelines, integrações, transformações e estruturas de dados utilizadas por soluções analíticas, aplicações e produtos de dados.
Nosso contexto envolve projetos para segmentos como mineração, metalurgia, siderurgia, usinas de açúcar e etanol, óleo e gás, agronegócio e outros ambientes industriais, normalmente integrando múltiplas fontes, sistemas legados, bancos de dados, APIs e plataformas de dados.
Trabalhamos com práticas ágeis, gestão de backlog, versionamento de código e processos de CI/CD utilizando Azure DevOps.
Faixa salarial
A combinar
Regime de contratação
CLT
Benefícios
👨🏼🎓 Desconto em cursos, universidades e instituições de idiomas;
📚 LinkedIn Learning - cursos online, gratuitos, atualizados e com certificado;
🗣 Mentoring;
💉 Telemedicina gratuita para consultas com mais de 30 especialidades médicas, psicólogos e nutricionistas;
💰 Clube de vantagens e descontos nos melhores estabelecimentos;
🛫 Clube de viagens;
🐶 Convênio para Pet;
e muito mais...
- Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados.
- Implementar processos ETL e ELT utilizando Python, SQL e tecnologias de processamento distribuído.
- Desenvolver e manter workflows de dados utilizando Apache Airflow.
- Desenvolver soluções em Databricks utilizando notebooks, jobs, SQL e PySpark quando aplicável.
- Construir e manter estruturas de dados em arquiteturas como Data Lake, Data Warehouse e Lakehouse.
- Trabalhar com modelagem de dados, organização de camadas de dados e definição de granularidade.
- Implementar mecanismos de tratamento, validação e qualidade de dados.
- Criar rotinas de logs, monitoramento, tratamento de erros e reprocessamento de cargas.
- Trabalhar com ambientes containerizados utilizando Docker.
- Versionar códigos, scripts, notebooks e configurações em repositórios Git.
- Participar da implementação e manutenção de pipelines de CI/CD para artefatos de dados.
- Atuar com Azure DevOps para gestão de código, pipelines, backlog, boards e acompanhamento de projetos.
- Participar de refinamentos, planning, dailies, reviews e demais cerimônias de projetos ágeis.
- Apoiar análise técnica de requisitos e estimativas de esforço.
- Participar de troubleshooting, análise de falhas e otimização de pipelines e consultas.
- Produzir documentação técnica das soluções implementadas.
- Trabalhar de forma integrada com arquitetos, DevOps, DataOps, analistas, cientistas de dados e demais especialistas do projeto.
- Python aplicado à engenharia de dados.
- SQL em nível intermediário ou avançado.
- Apache Airflow.
- Databricks.
- Conceitos de Spark e PySpark.
- Docker.
- Git.
- Conceitos de CI/CD.
- Azure DevOps.
- Modelagem de dados.
- ETL e ELT.
- APIs REST e integrações entre sistemas.
- Data Lake, Data Warehouse e Lakehouse.
- Tratamento de arquivos CSV, JSON, Parquet e formatos similares.
- Noções de observabilidade, logs e monitoramento de pipelines.
- Conhecimentos gerais de computação em nuvem, especialmente Microsoft Azure e AWS.
- Compreensão dos principais serviços de armazenamento, processamento, integração, rede, segurança e identidade em Azure e AWS.
- Azure Data Lake Storage, ADF,
- Serviços AWS aplicados a dados, como S3, Glue, Athena, Redshift e IAM.
- Delta Lake.
- Unity Catalog.
- PostgreSQL, SQL Server ou bancos relacionais equivalentes.
- Integração com sistemas industriais, ERPs, MES, PIMS, LIMS ou sistemas legados.
- Conhecimentos de segurança e controle de acesso em plataformas de dados.
- Experiência com qualidade de dados e testes automatizados.
- Noções de infraestrutura como código.
- Inglês.
A Stefanini Manufacturing é uma empresa nascida em Belo Horizonte, Minas Gerais e representa a indústria dentro do grupo Stefanini para todos os continentes. Ajudamos nossos clientes a fazer melhorias expressivas e duradouras em seu desempenho operacional, superar seus indicadores de performance e endereçar suas agendas ESG. São mais de 30 anos e mais de 3000 projetos entregues. Acreditamos no potencial disruptivo da tecnologia e, acima de tudo, no talento e criatividade de nosso time. Conheça nossa história! Surpreenda-se!
É importante saber: para se candidatar, não importa sua idade, gênero, raça/etnia, deficiência, orientação sexual, origem, estética ou constituição familiar! Entendemos que as diferenças tornam as pessoas únicas!
Engenheiro(a) de Dados PL
Stefanini IHM | Belo Horizonte - MG | Híbrido
Vaga afirmativa PcD
Descrição da vaga
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar em projetos de soluções de TI com forte componente de dados, em ambientes industriais de média e alta complexidade.
A posição terá atuação direta na construção, evolução e sustentação de pipelines, integrações, transformações e estruturas de dados utilizadas por soluções analíticas, aplicações e produtos de dados.
Nosso contexto envolve projetos para segmentos como mineração, metalurgia, siderurgia, usinas de açúcar e etanol, óleo e gás, agronegócio e outros ambientes industriais, normalmente integrando múltiplas fontes, sistemas legados, bancos de dados, APIs e plataformas de dados.
Trabalhamos com práticas ágeis, gestão de backlog, versionamento de código e processos de CI/CD utilizando Azure DevOps.
Responsabilidades e atribuições
- Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados.
- Implementar processos ETL e ELT utilizando Python, SQL e tecnologias de processamento distribuído.
- Desenvolver e manter workflows de dados utilizando Apache Airflow.
- Desenvolver soluções em Databricks utilizando notebooks, jobs, SQL e PySpark quando aplicável.
- Construir e manter estruturas de dados em arquiteturas como Data Lake, Data Warehouse e Lakehouse.
- Trabalhar com modelagem de dados, organização de camadas de dados e definição de granularidade.
- Implementar mecanismos de tratamento, validação e qualidade de dados.
- Criar rotinas de logs, monitoramento, tratamento de erros e reprocessamento de cargas.
- Trabalhar com ambientes containerizados utilizando Docker.
- Versionar códigos, scripts, notebooks e configurações em repositórios Git.
- Participar da implementação e manutenção de pipelines de CI/CD para artefatos de dados.
- Atuar com Azure DevOps para gestão de código, pipelines, backlog, boards e acompanhamento de projetos.
- Participar de refinamentos, planning, dailies, reviews e demais cerimônias de projetos ágeis.
- Apoiar análise técnica de requisitos e estimativas de esforço.
- Participar de troubleshooting, análise de falhas e otimização de pipelines e consultas.
- Produzir documentação técnica das soluções implementadas.
- Trabalhar de forma integrada com arquitetos, DevOps, DataOps, analistas, cientistas de dados e demais especialistas do projeto.
Requisitos e qualificações
- Python aplicado à engenharia de dados.
- SQL em nível intermediário ou avançado.
- Apache Airflow.
- Databricks.
- Conceitos de Spark e PySpark.
- Docker.
- Git.
- Conceitos de CI/CD.
- Azure DevOps.
- Modelagem de dados.
- ETL e ELT.
- APIs REST e integrações entre sistemas.
- Data Lake, Data Warehouse e Lakehouse.
- Tratamento de arquivos CSV, JSON, Parquet e formatos similares.
- Noções de observabilidade, logs e monitoramento de pipelines.
- Conhecimentos gerais de computação em nuvem, especialmente Microsoft Azure e AWS.
- Compreensão dos principais serviços de armazenamento, processamento, integração, rede, segurança e identidade em Azure e AWS.
Requisitos desejáveis
- Azure Data Lake Storage, ADF,
- Serviços AWS aplicados a dados, como S3, Glue, Athena, Redshift e IAM.
- Delta Lake.
- Unity Catalog.
- PostgreSQL, SQL Server ou bancos relacionais equivalentes.
- Integração com sistemas industriais, ERPs, MES, PIMS, LIMS ou sistemas legados.
- Conhecimentos de segurança e controle de acesso em plataformas de dados.
- Experiência com qualidade de dados e testes automatizados.
- Noções de infraestrutura como código.
- Inglês.
Faixa salarial
A combinar
Regime de contratação
CLT
Benefícios
👨🏼🎓 Desconto em cursos, universidades e instituições de idiomas;
📚 LinkedIn Learning - cursos online, gratuitos, atualizados e com certificado;
🗣 Mentoring;
💉 Telemedicina gratuita para consultas com mais de 30 especialidades médicas, psicólogos e nutricionistas;
💰 Clube de vantagens e descontos nos melhores estabelecimentos;
🛫 Clube de viagens;
🐶 Convênio para Pet;
e muito mais...
Sobre a empresa
A Stefanini Manufacturing é uma empresa nascida em Belo Horizonte, Minas Gerais e representa a indústria dentro do grupo Stefanini para todos os continentes. Ajudamos nossos clientes a fazer melhorias expressivas e duradouras em seu desempenho operacional, superar seus indicadores de performance e endereçar suas agendas ESG. São mais de 30 anos e mais de 3000 projetos entregues. Acreditamos no potencial disruptivo da tecnologia e, acima de tudo, no talento e criatividade de nosso time. Conheça nossa história! Surpreenda-se!
É importante saber: para se candidatar, não importa sua idade, gênero, raça/etnia, deficiência, orientação sexual, origem, estética ou constituição familiar! Entendemos que as diferenças tornam as pessoas únicas!