Pessoa Administradora de Big Data - Sênior

Qual será a sua missão?

• Administrar clusters Amazon EMR, incluindo provisionamento, configuração e gerenciamento;
• Otimizar dimensionamento, auto scaling e performance dos clusters;
• Gerenciar componentes do ecossistema Hadoop (HDFS, YARN, Hive, Spark);
• Atuar na operação de plataformas de Big Data, incluindo instalação, configuração e atualização de ferramentas;
• Monitorar a saúde dos clusters e realizar troubleshooting de falhas;
• Gerenciar pipelines de ingestão de dados (Kafka, Kinesis, AWS Glue);
• Implementar práticas de segurança no EMR utilizando IAM, Kerberos, KMS e configurações de VPC;
• Garantir conformidade com padrões de segurança e governança;
• Automatizar provisionamento de infraestrutura com Terraform, CloudFormation ou CDK;
• Desenvolver e manter pipelines de CI/CD (AWS tools ou Jenkins);
• Implementar estratégias de otimização de custos em ambiente cloud;
...