Ingeniero Senior de Plataforma de Datos (Databricks)

Descripción

Resumen: Buscamos un Ingeniero Senior de Plataforma de Datos con amplia experiencia especializada en Databricks y entornos multicloud para construir, optimizar y mantener plataformas de datos de alto rendimiento que generen conocimientos valiosos. Aspectos destacados: 1. Diseñar e implementar plataformas de datos robustas mediante Databricks 2. Crear soluciones independientes de la nube en AWS, Azure y GCP 3. Capacitar a los miembros del equipo en la gestión eficaz de clústeres en Databricks Buscamos un experimentado **Ingeniero Senior de Plataforma de Datos** para unirse a EPAM, una empresa líder en el desarrollo de soluciones digitales para empresas de la lista Fortune 1000. Como parte fundamental de nuestro equipo, el candidato ideal aportará una profunda experiencia en Databricks y conocimientos prácticos en entornos multicloud. Esta posición se centrará en construir, optimizar y mantener plataformas de datos innovadoras y de alto rendimiento que permitan obtener conocimientos valiosos a partir de los datos y impulsen transformaciones empresariales significativas. Este puesto ofrece un modelo híbrido de trabajo con flexibilidad para trabajar desde Málaga o Madrid, con visitas ocasionales obligatorias a la oficina. **Responsabilidades** * Diseñar e implementar plataformas de datos robustas mediante Databricks, centrándose en un rendimiento óptimo y en la seguridad * Crear soluciones independientes de la nube en AWS, Azure y GCP para garantizar la flexibilidad y resiliencia del sistema * Diseñar e implementar canalizaciones de datos integrales que incluyan lagos de datos, almacenes de datos y tecnologías de transmisión en tiempo real * Utilizar Databricks SQL, Delta Lake, MLflow y Spark para la interacción con los datos y la mejora del rendimiento * Colaborar con diversos equipos para implementar y mantener flujos de trabajo basados en las mejores prácticas de Databricks * Desarrollar canalizaciones CI/CD personalizadas para la implementación y pruebas de la plataforma de datos * Configurar y gestionar marcos de monitorización, registro y alertas para garantizar la salud de la infraestructura * Optimizar los recursos de cómputo y almacenamiento para equilibrar eficiencia de costes y rendimiento * Diagnosticar y resolver problemas de rendimiento en Databricks y Spark * Capacitar a los miembros del equipo en la gestión eficaz de clústeres y la asignación de recursos en entornos Databricks * Mantener los estándares de cumplimiento y seguridad durante todas las operaciones de la plataforma * Impulsar la adopción de funcionalidades avanzadas de Databricks, como instancias Photon y Graviton * Refinar periódicamente las arquitecturas para alinearlas con los requisitos empresariales y tecnológicos cambiantes **Requisitos** * Experiencia extensa en Databricks, Apache Spark y sistemas distribuidos de procesamiento de datos * Fuertes habilidades de programación en Python, Scala y SQL * Conocimientos sólidos de servicios de ingeniería de datos en AWS (S3, IAM, Lambda), Azure y GCP * Experticia en arquitectura de datos y flujos de trabajo ETL, centrándose en lagos de datos y lakehouses * Experiencia práctica con Terraform, CloudFormation y herramientas CI/CD * Familiaridad con herramientas de monitorización y marcos de observabilidad para entornos de datos a gran escala * Buenas habilidades comunicativas en español (nivel mínimo C1) **Valorable** * Certificaciones en Databricks, AWS, Azure y GCP * Conocimientos de Kubernetes y despliegues basados en contenedores para canalizaciones de datos * Experiencia con marcos de transmisión de datos en tiempo real y herramientas de gobernanza **Ofrecemos** * Seguro médico privado * Plan de compra de acciones para empleados de EPAM * Baja por enfermedad remunerada al 100 % * Programa de referidos * Certificación profesional * Cursos de idiomas EPAM es una empresa líder en servicios de transformación digital e ingeniería de productos, con más de 61 700 empleados EPAM en más de 55 países y regiones. Desde 1993, nuestros equipos multidisciplinarios han ayudado a hacer realidad el futuro para nuestros clientes y comunidades de todo el mundo. En 2018, abrimos una oficina en España que rápidamente creció hasta superar los 1 450 empleados EPAM distribuidos entre las oficinas de Málaga, Madrid y Cáceres, así como de forma remota en todo el país. Aquí colaborarás con equipos multinacionales, contribuirás a numerosos proyectos innovadores y tendrás la oportunidad de aprender y crecer continuamente. * **¿Por qué unirte a EPAM?** * **EQUILIBRIO ENTRE TRABAJO Y VIDA PERSONAL.** Disfruta de más tiempo para ti con opciones flexibles de trabajo, 24 días laborables de vacaciones anuales y permisos remunerados por numerosas fiestas públicas. * **CULTURA DE APRENDIZAJE CONTINUO.** Elabora tu propio Plan de Desarrollo Profesional para alinearlo con tus objetivos de aprendizaje. Aprovecha la formación interna, el programa de tutoría, las certificaciones patrocinadas y los cursos de LinkedIn. * **TRAYECTORIAS PROFESIONALES CLARAS Y DIFERENCIADAS.** Desarrolla tu carrera en dirección técnica o directiva: convertirte en gestor de personas, especialista técnico en profundidad, arquitecto de soluciones o gestor de proyectos/entregas. * **COMUNIDAD PROFESIONAL FUERTE.** Únete a una comunidad global de expertos altamente cualificados de EPAM y conéctate con ellos para resolver retos, intercambiar ideas, compartir conocimientos y hacer amigos.