Data Engineer

Responsabilidades

• Diseñar, construir y optimizar pipelines de datos utilizando arquitectura Medallion en Databricks.
• Colaborar con equipos de Backend para integrar datos provenientes de arquitecturas de microservicios.
• Desarrollar procesos de datos eficientes y escalables con PySpark.
• Implementar pruebas unitarias y de integración para garantizar la calidad y confiabilidad de los datos.
• Optimizar el rendimiento de Apache Spark (skewness, caching, Z-Order, entre otros) para maximizar eficiencia y reducir costos.

Requisitos

• Más de 5 años de experiencia como Data Engineer en ambientes de alta transaccionalidad.
• Al menos 3 años de experiencia previa como Backend Developer con Python (FastAPI, Flask o Django), aplicando principios de Clean Code y patrones de diseño.
• Conocimiento sólido de la arquitectura interna de Apache Spark (Shuffle, RDDs, DataFrames, AQE).
• Dominio...