En Aubay buscamos un/a Data Engineer con un perfil técnico sólido dentro del ámbito del Data Engineering, para integrarse en una importante compañía de sector financiero. La persona seleccionada participará en un proyecto estratégico de migración de pipelines legacy en Hadoop hacia un Datahub en entorno cloud, con foco en la automatización, la calidad y la robustez de los procesos de datos.

Funciones / Tareas:

• Ejecutar la migración de infraestructura y pipelines Hadoop legacy hacia un entorno cloud basado en Kubernetes Engine, COS, Spark as a Service y Airflow as a Service.
• Implementar transformaciones de datos y controles de calidad utilizando Scala y SQL con Apache Spark.
• Diseñar y automatizar pipelines de datos y procesos de ingesta mediante orquestadores, principalmente Airflow.
• Configurar flujos de CI/CD para despliegues automáticos, testing y versionado.
• Desarrollar pruebas unitarias, validación de código y buenas prácticas de calidad.
• Elaborar documentación técnica y operativa de los procesos implementados.
• Colaborar con equipos cross-funcionales (data squads, negocio, IT OPS).
• Contribuir a la mejora continua del equipo y de las prácticas de ingeniería.
• Experiencia práctica con Apache Spark con Scala.
• SQL avanzado aplicado a grandes volúmenes de datos.
• Conocimiento sólido de Hadoop / HDFS.
• Pipelines y despliegues con CI/CD (GitLab, Jenkins).
• Experiencia con almacenamiento tipo S3 / COS.
• Bases de datos SQL y NoSQL.
• Experiencia con Oozie.
• Conocimiento de SDLC y metodologías Agile.

Conocimientos valorables

• Procesos de streaming (Kafka, event streaming).
• Experiencia previa en sector bancario.

Contratación indefinida

• Contratación indefinida con una retribución negociable en base a experiencia, más retribución flexible. Dentro del plan de retribución flexible se incluyen, entre otras opciones, cheques restaurante, seguro de salud y cheques guardería.
• Beneficios corporativos: La compañía dispone además de diversos beneficios corporativos, entre los que se incluyen una plataforma de descuentos para empleados, un departamento de formación con acceso a distintos cursos y programas de reciclaje en idiomas con clases de conversación.
• Modalidad híbrida de trabajo (50%)
• Horario: Lunes a viernes de 9:00 a 18:00, con 1 hora de flexibilidad