Senior Data Engineer

Descripción

Resumen del Puesto: Buscamos un Ingeniero de Datos Senior especializado en Spark para optimizar pipelines de producción, refactorizar código y diseñar procesamiento distribuido eficiente a gran escala. Puntos Destacados: 1. Experiencia sólida con Scala + Apache Spark en producción 2. Conocimiento profundo de arquitectura y optimización de Spark 3. Proyecto estable y de alto impacto **Senior Data Engineer (Scala \& Apache Spark – Producción)** ------------------------------------------------------------- En Excelia somos una firma multinacional líder en Consultoría, Tecnología y Servicios profesionales, con más de 25 años de trayectoria y presencia en más de 50 países . **Buscamos Senior Data Engineer especializado en Spark** **Requisitos (excluyentes)** ---------------------------- * Experiencia sólida con **Scala \+ Apache Spark en producción** * Conocimiento profundo de **arquitectura y optimización de Spark** * Capacidad de análisis de rendimiento y refactorización de código * Alta autonomía técnica **Experiencia clave** --------------------- * **Optimización avanzada en Spark** + Catalyst optimizer (planes lógicos y físicos) + Lectura de DAGs y detección de cuellos de botella + Tungsten (memoria y serialización eficiente) * **Performance tuning** + Cache/persist, checkpoint y gestión de memoria + Eliminación de shuffles y joins (broadcast, co\-particionado) + Particionado avanzado, salting y corrección de data skew * **Procesamiento distribuido complejo** + mapPartitions avanzado + Procesamiento de estructuras jerárquicas (árboles, bosques) + Traversal distribuido sin iteraciones costosas * **Snowflake avanzado** + Clustering, micro\-particiones, pruning y pushdown + Optimización del conector Spark\-Snowflake **¿Qué harás?** --------------- * Optimizar pipelines Spark en producción * Refactorizar código con problemas de rendimiento * Diseñar procesamiento distribuido eficiente a gran escala * Reducir costes, latencia y consumo de recursos **Ofrecemos** ------------- Proyecto estable y de alto impacto Salario competitivo Entorno técnico exigente Equipo senior