Engenheiro de Dados - Home Office

Descrição

Atividades:
● Construir e manter pipelines de dados de bases internas e aplicações SaaS;
● Escrever códigos sustentáveis e de alto desempenho;
● Ajudar na implementação da filosofia DataOps;
● Melhorar, gerenciar e ensinar os padrões de manutenção e desempenho dos pipelines de dados;
● Trabalhar com dados para resolver problemas de negócios, construindo e mantendo pipelines de dados que ajudem a responder questões de negócio e melhore processos;
● Ajudar a simplificar o fluxo de trabalho dos analistas e cientistas de dados, agregando valor à nossa oferta de produtos e construindo nosso ciclo de vida do cliente e modelos de retenção;

Requisitos:
● Experiência em contextos de evolução e manutenção de ambientes Big Data produtivos;
● Conhecimentos de processamento paralelo e distribuído;
● Conhecimento da linguagem Python e Shell Script para automação;
● Expertise em ferramentas de IaC (preferencialmente CloudFormation);
● Expertise com computação em nuvem (AWS, GCP ou Azure);
● Experiência na captura de dados das mais variadas fontes;
● Conhecimento de bancos de dados SQL e NoSQL (PostgreSQL, SQL Server, Mongo e Cassandra);
● Experiência na construção e otimização de pipelines de big data, arquiteturas e datasets;
● Experiência de enfileiramento de mensagens, processamento de dados em streaming (realtime, near realtime) e armazenamento de dados em larga escala;
● Expertise em utilização de contêineres (Docker);
● Expertise em ferramentas de orquestração de pipelines (Airflow, Dataflow);

Desejável:
● Experiência com big data na área de varejo / e-commerce;
● Participação em projetos para fornecimento de dados em “real time”;
● Experiência com ferramentas de big data da AWS: Athena, Glue, Lambda, Redshift, EMR,
S3, Spark, Kafka, ou outros.

Período: Indeterminando
Local: Home Office
Contratação: PJ ou Sócio Cotista

OBS: Estamos trabalhando esta posição para a consultoria Infobase.