Resumen: Buscamos un/a Ingeniero/a Senior de Datos para diseñar, desarrollar y optimizar la infraestructura de datos, arquitecturar canalizaciones escalables y garantizar alta disponibilidad y rendimiento. Aspectos destacados: 1. Diseñar y optimizar la infraestructura de datos en Databricks con tecnologías de GCP 2. Arquitecturar canalizaciones escalables ETL/ELT mediante Airflow, dbt, Dataflow y Pub/Sub 3. Implementar calidad de datos con Great Expectations y las mejores prácticas de CI/CD Buscamos un/a **Ingeniero/a Senior de Datos** para diseñar, desarrollar y optimizar nuestra infraestructura de datos en **Databricks**. Usted arquitecturará canalizaciones escalables mediante BigQuery, Google Cloud Storage, Apache Airflow, dbt, Dataflow y Pub/Sub, garantizando alta disponibilidad y rendimiento en todos nuestros procesos ETL/ELT. Utilizará Great Expectations para aplicar estándares de calidad de datos. La función también incluye construir nuestro entorno de Data Mart (Data Mach) e implementar las mejores prácticas de CI/CD. Un/a candidato/a exitoso/a posee amplios conocimientos sobre soluciones nativas de nube para datos, una sólida experiencia con marcos ETL/ELT (incluido dbt) y una pasión por construir canalizaciones robustas y rentables. ### **Principales responsabilidades** ### **Arquitectura y estrategia de datos** * Definir e implementar la arquitectura general de datos en GCP, incluyendo almacenamiento de datos en BigQuery/Databricks, patrones de data lake en Google Cloud Storage y soluciones de Data Mart (Data Mach). * Integrar Terraform para Infrastructure as Code (IaC) para aprovisionar y gestionar eficientemente los recursos en la nube. * Establecer marcos tanto de procesamiento por lotes como en tiempo real para garantizar fiabilidad, escalabilidad y eficiencia de costos. ### **Desarrollo y orquestación de canalizaciones** * Diseñar, construir y optimizar canalizaciones ETL/ELT mediante Apache Airflow para la orquestación de flujos de trabajo. * Implementar transformaciones con dbt (Data Build Tool) para mantener modelos de datos bajo control de versiones en BigQuery, asegurando consistencia y fiabilidad en toda la canalización de datos. * Usar Google Dataflow (basado en Apache Beam) y Pub/Sub para el procesamiento e ingesta a gran escala de datos por lotes o en streaming. * Automatizar la programación de trabajos y las transformaciones de datos para entregar información oportuna destinada al análisis, al aprendizaje automático y a los informes. ### **Arquitectura basada en eventos y microservicios** * Implementar flujos de trabajo de datos basados en eventos o asíncronos entre microservicios. * Emplear **Docker y Kubernetes (K8s)** para la contenerización y orquestación, permitiendo flujos de trabajo de datos basados en microservicios flexibles y eficientes. * Implementar canalizaciones de **CI/CD** para facilitar el desarrollo, las pruebas y la implementación de componentes de ingeniería de datos. ### **Calidad de datos, gobernanza y seguridad** * Aplicar estándares de calidad de datos mediante Great Expectations u otros marcos similares, definiendo y validando expectativas para conjuntos de datos críticos. * Definir y mantener estándares de gestión de metadatos, trazabilidad de datos (data lineage) y auditoría para garantizar conjuntos de datos confiables. * Aplicar buenas prácticas de seguridad, incluida la cifrado en reposo y en tránsito, la gestión de identidad y acceso (IAM), y el cumplimiento del GDPR o CCPA cuando sea aplicable. ### **Habilitación de BI y análisis** * Colaborar con los equipos de Ciencia de Datos, Analítica y Producto para garantizar que la infraestructura de datos respalde análisis avanzados, incluidas iniciativas de aprendizaje automático. * Mantener entornos de Data Mart (Data Mach) adaptados a dominios empresariales específicos, optimizando el acceso y el rendimiento para los principales interesados. **Requisitos** **Experiencia** * + 3 años o más de experiencia profesional en ingeniería de datos, con al menos 1 año en datos móviles **Conocimientos técnicos con la pila de GCP** * + Trayectoria comprobada construyendo y manteniendo entornos de BigQuery y data lakes basados en Google Cloud Storage. + Conocimiento profundo de Apache Airflow para la programación/orquestación y el diseño de ETL/ELT. + Experiencia implementando dbt para transformaciones de datos, RabbitMQ para flujos de trabajo basados en eventos, y Pub/Sub + Dataflow para canalizaciones de datos por lotes o en streaming. + Familiaridad con el diseño e implementación de soluciones de Data Mart (Data Mach), así como con el uso de Terraform para IaC. **Programación y contenerización** * + Capacidad sólida de programación en Python, Java o Scala, además de scripting para automatización. + Experiencia con Docker y Kubernetes (K8s) para contenerizar servicios relacionados con datos. + Práctica directa con canalizaciones CI/CD y herramientas DevOps (por ejemplo, Terraform, Ansible, Jenkins, GitLab CI) para gestionar infraestructura e implementaciones. **Calidad de datos y gobernanza** * + Competencia en Great Expectations (o similar) para definir y aplicar estándares de calidad de datos. + Experticia en el diseño de sistemas para trazabilidad de datos (data lineage), gestión de metadatos y cumplimiento normativo (GDPR, CCPA). + Sólida comprensión de sistemas OLTP (procesamiento de transacciones en línea) y OLAP (procesamiento analítico en línea). **Comunicación** * + Excelentes habilidades comunicativas tanto con audiencias técnicas como no técnicas. + Alto nivel de organización, autodisciplina y capacidad para resolver problemas. ### **Habilidades preferidas:** * + Integración de Aprendizaje Automático (ML): Conocimiento de flujos de trabajo ML de extremo a extremo y despliegue de modelos en GCP (por ejemplo, Vertex AI). + Observabilidad avanzada: Experiencia con Prometheus, Grafana, Datadog o New Relic para supervisar la salud y el rendimiento del sistema. + Seguridad y cumplimiento: Conocimiento avanzado de marcos de cumplimiento como HIPAA, SOC 2 u otras regulaciones aplicables. + Arquitecturas de datos en tiempo real: Mayor competencia en Kafka, Spark Streaming u otras soluciones de streaming. + Certificaciones: Son muy valoradas las certificaciones específicas de GCP (por ejemplo, Google Professional Data Engineer). ### **Serán un plus** * Integración de Aprendizaje Automático (ML): Conocimiento de flujos de trabajo ML de extremo a extremo y despliegue de modelos en GCP (por ejemplo, Vertex AI). * Observabilidad avanzada: Experiencia con Prometheus, Grafana, Datadog o New Relic para supervisar la salud y el rendimiento del sistema. * Seguridad y cumplimiento: Conocimiento avanzado de marcos de cumplimiento como HIPAA, SOC 2 u otras regulaciones aplicables. * Arquitecturas de datos en tiempo real: Mayor competencia en Kafka, Spark Streaming u otras soluciones de streaming. * Certificaciones: Son muy valoradas las certificaciones específicas de GCP (por ejemplo, Google Professional Data Engineer). **Beneficios** ### **¿Por qué deberías unirte a nosotros?** Crecimiento y desarrollo profesional * En Leadtech priorizamos tu crecimiento. Disfruta de una trayectoria profesional flexible con formación interna personalizada y un presupuesto anual para oportunidades de aprendizaje externo. Equilibrio entre vida laboral y personal * Benefíciate de un horario flexible con flexibilidad horaria (entrada entre las 7 y las 9:30 a.m., salida entre las 3:30 y las 6 p.m.) y la opción de trabajar completamente en remoto o desde nuestra oficina de Barcelona. ¡Disfruta de viernes libres por la tarde con una jornada laboral de 7 horas, además de una semana laboral de 35 horas en julio y agosto para disfrutar del verano! Beneficios integrales * Salario competitivo, contrato indefinido a tiempo completo y seguro privado de salud de primer nivel (incluidos servicios dentales y psicológicos). * 25 días de vacaciones más tu cumpleaños libre, con opciones flexibles de vacaciones —¡sin días prohibidos! Beneficios únicos * Si deseas venir a nuestra oficina de Barcelona, encontrarás café gratuito, fruta fresca, snacks, una sala de juegos y una terraza en la azotea con impresionantes vistas al Mediterráneo. * Otros beneficios adicionales incluyen tickets restaurante y cheques guardería, pagados directamente desde tu salario bruto. Únete a un entorno donde tienes libertad para innovar, aprender y crecer junto a profesionales apasionados. En Leadtech, afrontarás desafíos emocionantes y formarás parte de un equipo vibrante comprometido con ofrecer experiencias excepcionales a los usuarios. **Empleador con Igualdad de Oportunidades:** Leadtech es un Empleador con Igualdad de Oportunidades (EEO), lo que significa que fomentamos las solicitudes de personas con distintos antecedentes, intereses y circunstancias personales. Nuestro equipo da la bienvenida a solicitantes independientemente de su raza, género, edad, religión, nacionalidad, orientación sexual y/o discapacidades. ¡Lo único que necesitamos es tu alta energía, tus habilidades y tu disposición para formar parte de un gran proyecto! **Ubicación** Tendrás la flexibilidad de elegir si deseas acudir diariamente a la oficina, hacerlo ocasionalmente o trabajar completamente en remoto. Queremos que encuentres la combinación ideal para ti. Si prefieres estar rodeado/a de personas increíbles, nuestra excepcional oficina se encuentra en el Blue Building de Barcelona, justo frente al mar. Además de nuestras impresionantes vistas, disfrutarás de los beneficios de la oficina, como fruta, snacks y café gratuitos, y también podrás participar en nuestras competiciones de Mario Kart y tenis de mesa. *Los datos personales que proporciones serán tratados con el fin de gestionar tu candidatura a los procesos de selección corporativos que se ajusten a tu perfil. Si lo deseas, puedes ejercer tus derechos de acceso, rectificación o cancelación escribiendo a nuestra dirección (Avenida Litoral, 12-14, 5ta planta. Barcelona. 08005) o al correo electrónico protecciondedatos@LeadTech.com, adjuntando a tu solicitud un documento que pueda validar tu identidad.*