Responsabilidades: • Desenvolver, implementar e otimizar pipelines de dados utilizando PySpark e Python. • Trabalhar com arquiteturas de dados na AWS para garantir a escalabilidade e eficiência do processamento de dados. • Monitorar e manter a integridade e performance dos sistemas de dados, utilizando serviços como CloudWatch. • Colaborar com outras equipes para entender requisitos de dados e entregar soluções de alta qualidade. • Documentar processos e criar relatórios detalhados sobre o status e performance dos sistemas de dados. • Aplicar metodologias ágeis para garantir entregas contínuas e incrementais de valor. Requisitos: • Capacidade comprovada de liderar tecnicamente projetos complexos e colaborar efetivamente com equipes multifuncionais. • Sólidos conhecimentos em PySpark e Python: Proficiência no uso dessas linguagens e frameworks para manipulação e análise de dados. • Experiência com processamento de grandes volumes de dados: Habilidade demonstrada na gestão e otimização de fluxos de trabalho envolvendo grandes quantidades de dados. • Experiência com serviços AWS: Familiaridade com uma variedade de serviços em nuvem da Amazon Web Services, incluindo: o EventBridge: Para arquiteturas de eventos escaláveis. o Lambda: Para execução de código em resposta a eventos de forma serverless. o EMR (Elastic MapReduce): Para processamento de grandes volumes de dados utilizando frameworks como Apache Hadoop e Apache Spark. o Step Functions: Para orquestração de fluxos de trabalho complexos. o CloudWatch: Para monitoramento e logging de recursos e aplicações. o S3 (Simple Storage Service): Para armazenamento escalável de dados. o EC2 (Elastic Compute Cloud): Para provisionamento e gerenciamento de capacidade computacional na nuvem. • Metodologias ágeis: Experiência em trabalhar com metodologias ágeis, como Scrum ou Kanban. • SQL: Conhecimento avançado em SQL para manipulação e consulta de bancos de dados. • Apache Parquet: Experiência com o formato de armazenamento de dados colunar de alto desempenho. Diferenciais: • Certificação AWS Cloud Practitioner: Certificação AWS é um diferencial que demonstra conhecimento e competência na plataforma de serviços em nuvem da AWS.