O que buscamos:

Profissional que atue como Engenharia de Dados , necessário conhecimento em YAML e que possua disponibilidade para atuação hibrida (2x por semana presencial) no Itaim Bibi – Faria Lima (São Paulo/SP).

 

 

Responsabilidades: Planejar, projetar e implementar arquiteturas de data lake, com foco em armazenamento escalável, segurança e acessibilidade dos dados. Configurar pipelines de dados utilizando AWS Glue, garantindo a extração, transformação e carregamento (ETL) dos dados de forma otimizada. Desenvolver e manter templates em YAML para a configuração e automatização de deploys, promovendo a padronização de infraestrutura. Utilizar AWS CloudFormation para criar e gerenciar stacks de infraestrutura como código (IaC), garantindo configurações consistentes e automatizadas. Implementar e gerenciar funções AWS Lambda para processamento em tempo real e execução de tarefas de ETL e ELT de forma serverless. Configurar e gerenciar SNS (Simple Notification Service) e SQS (Simple Queue Service) para orquestração e notificação de eventos, promovendo a comunicação eficiente entre sistemas. Configurar Firehose para a entrega de dados em tempo real para o data lake e outros serviços de armazenamento e processamento. Colaborar com equipes de desenvolvimento e analytics para assegurar o armazenamento e estruturação dos dados de forma acessível e escalável.

 

Requisitos e Qualificações:  Experiência sólida em arquitetura de data lakes e infraestrutura em nuvem AWS; Proficiência com AWS Glue para a criação e otimização de pipelines ETL.; Conhecimento em YAML para configuração de deploys e automatização de templates de infraestrutura; Experiência com CloudFormation para automação de infraestrutura como código; Experiência com AWS Lambda para execução de funções serverless e automação de tarefas de ETL; Conhecimento em SNS e SQS para orquestração de eventos e comunicação assíncrona entre sistemas; Familiaridade com Firehose para streaming de dados em tempo real para o data lake; Habilidade de troubleshooting e otimização de performance em processos de ETL e data pipelines.

 

Desejável:

 

Experiência com arquitetura Lake House, integrando data lakes com data warehouses para uma solução de dados unificada e flexível; Certificações AWS ou experiência com outras ferramentas e serviços de dados; Iceberg spark; Experiência em metodologias ágeis e boas práticas de desenvolvimento; Ter experiência na implementação de uma arquitetura de lake house, incluindo integração de data lakes com data warehouses, para proporcionar maior flexibilidade e análise unificada de dados;

 

Descrição comportamental:

Procuramos uma pessoa que:

Goste de trabalhar em equipe e seja colaborativa em suas atribuições; Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento; Transforme ideias em soluções criativas e busque qualidade em toda sua rotina; Tenha habilidades de resolução de problemas; Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo; Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

 

 

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT