O que buscamos:

Procuramos um profissional que atue com Engenharia de Dados com experiência em Python e Cloud AWS para atuação remota.

 

Responsabilidades:

 

Linguagem de Programação: Python, SQL, Scala, Pyspark, Shell Script Fundamentos: DataMesh, Database SQL e NoSQL, Hadoop Ecossistema, Engenharia de Software, Privacidade e Segurança. Engenharia de Dados: Data Ingestion, Data Stream, PRocessamento Paralelo, Processamento Massivo. Arquitetura de Dados: ETL vs ELT, Modelagem tradicional, Dimensional e Hibrido, Estruturado / Não Estruturado, Camada de Dados Brutos (SOR), Camada de Dados Harmonizados (SOT), Camada de Dados Especializados (SPEC), Data Analytics, Data Viz, Data Storytelling. Experiencia com processamento distribuído e de grandes volumes de dados Vivência em Pipelines CI/CD (codepipeline / githubactions); Conhecimento nos serviços primários da AWS (Storage Gateway, Direct Connect, DMS, Lambda, Glue, RDS, API Gateway). Desenvolvimento de Soluções de Engenharia de Dados: Projetar, implementar e otimizar pipelines de ingestão e processamento de dados (Data Ingestion e Data Stream) utilizando Python, Pyspark, SQL, Scala e Shell Script. Desenvolver soluções para o processamento paralelo e massivo de grandes volumes de dados. Arquitetura e Modelagem de Dados: Projetar e implementar arquiteturas de dados baseadas em DataMesh, seguindo os princípios de ETL vs ELT e modelagens tradicionais, dimensionais ou híbridas. Organizar os dados em camadas estruturadas, como Dados Brutos (SOR), Dados Harmonizados (SOT) e Dados Especializados (SPEC), para diferentes tipos de análises e consumidores. Processamento Distribuído e Big Data: Trabalhar com ecossistemas de Hadoop e processamento distribuído, garantindo o tratamento eficiente de dados estruturados e não estruturados. Implementar soluções que atendam a requisitos de alta disponibilidade, escalabilidade e desempenho. Privacidade e Segurança de Dados: Garantir conformidade com normas de privacidade e segurança no armazenamento, processamento e compartilhamento de dados. Implementar controles e políticas para proteger dados sensíveis e assegurar o uso ético da informação. Desenvolvimento e Automação de Pipelines: Criar e manter pipelines de CI/CD utilizando ferramentas como CodePipeline e GitHub Actions para automação de deploy e integração de código. Monitorar e otimizar pipelines de dados em ambientes dinâmicos e distribuídos. Utilização de Serviços em Nuvem (AWS): Trabalhar com os principais serviços da AWS, como Storage Gateway, Direct Connect, DMS, Lambda, Glue, RDS e API Gateway, para criar e gerenciar soluções baseadas em cloud. Garantir a integração perfeita de dados em diferentes ambientes utilizando serviços de armazenamento e processamento. Data Analytics e Storytelling: Construir soluções para Data Analytics, incluindo visualização e storytelling de dados, traduzindo insights técnicos em informações acessíveis e estratégicas. Colaborar com equipes de negócio para entregar dashboards e relatórios que apoiem a tomada de decisão. Colaboração em Ambiente Ágil: Participar de equipes multidisciplinares em um ambiente ágil, aplicando boas práticas de engenharia de software e metodologias ágeis (Scrum/Kanban).

 

Descrição comportamental:

Procuramos uma pessoa que:

Goste de trabalhar em equipe e seja colaborativa em suas atribuições; Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento; Transforme ideias em soluções criativas e busque qualidade em toda sua rotina; Tenha habilidades de resolução de problemas; Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo; Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

 

 

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT