Xideral
Data Engineer - AWS - CI/CD - Remoto - 2863
TLDR
Optimize AWS Glue and Apache Spark pipelines with CDC, partitioned reads, idempotent processing, CI/CD, and performance tuning.
Estamos buscando Data Engineer – AWS + CI/CD
Modalidad: Remoto desde México
Inglés: Avanzado C1 - C2
Requisitos:
- Ingles C1 - C2
- Más de 4 años de experiencia como DATA ENGINEER
- Experiencia como Data Engineer en ambientes cloud.
- Experiencia sólida con AWS, principalmente Amazon S3 y AWS Glue.
- Conocimiento en procesos de ingesta Source to S3.
- Experiencia con partitioned reads.
- Conocimiento de cargas incrementales y basadas en CDC (Change Data Capture).
- Experiencia con pipelines idempotentes y replayables.
- Conocimiento en diseño de S3 Landing Zones.
- Experiencia con estrategias de particionamiento, formatos de archivos y compresión.
- Conocimientos en optimización de tamaño de archivos y file compaction.
- Experiencia en AWS Glue Performance & Cost Tuning.
- Conocimiento en Worker Type, DPU sizing y autoscaling.
- Experiencia con Predicate Pushdown.
- Conocimientos de Data Skew y manejo de Small Files.
- Experiencia con Apache Spark y análisis de rendimiento mediante Spark UI.
- Experiencia en mantenimiento de pipelines de CI/CD.
- Manejo de Control de Versiones y procesos de Deployment.
- Inglés avanzado C1, indispensable.
- Disponibilidad para trabajar remotamente desde México.
Ofrecemos:
- Salario dependiendo de tus años de experiencia.
- Pago nominal y quincenal.
- Proyecto de forma indefinido
- Prestaciones de ley y superiores.
- Trabajo REMOTO permanente.
Si cubres con el perfil postulate solo con tu CV actualizado
Benefits
Remote-Friendly
Trabajo REMOTO permanente.
Xideral builds advanced network operations and telecom solutions that emphasize security and performance for enterprise environments. They specialize in automation and integration, enhancing operational efficiency while ensuring robust cybersecurity practices.
Data Engineer