Resumen: Buscamos un/a Ingeniero/a Senior de Datos para diseñar, desarrollar y optimizar una infraestructura de datos escalable en Databricks, arquitecturar canalizaciones y aplicar estándares de calidad de los datos. Aspectos destacados: 1. Diseñar y optimizar la infraestructura de datos en Databricks utilizando tecnologías de GCP 2. Arquitecturar canalizaciones escalables con Airflow, dbt, Dataflow y Pub/Sub 3. Implementar prácticas de CI/CD, Docker, Kubernetes y aplicar estándares de calidad de los datos Buscamos un/a **Ingeniero/a Senior de Datos** para diseñar, desarrollar y optimizar nuestra infraestructura de datos en **Databricks**. Usted arquitecturará canalizaciones escalables mediante BigQuery, Google Cloud Storage, Apache Airflow, dbt, Dataflow y Pub/Sub, garantizando alta disponibilidad y rendimiento en nuestros procesos ETL/ELT. Utilizará Great Expectations para aplicar estándares de calidad de los datos. La posición también implica construir nuestro entorno de Data Mart (Data Mach) e implementar las mejores prácticas de CI/CD. Un/a candidato/a exitoso/a posee amplios conocimientos sobre soluciones nativas de nube para datos, una sólida experiencia con marcos ETL/ELT (incluido dbt) y una pasión por construir canalizaciones robustas y rentables. Principales responsabilidadesArquitectura y estrategia de datos* Definir e implementar la arquitectura general de datos en GCP, incluidos los almacenes de datos en BigQuery/Databricks, los patrones de data lake en Google Cloud Storage y las soluciones de Data Mart (Data Mach). * Integrar Terraform para Infrastructure as Code (IaC), con el fin de aprovisionar y gestionar eficientemente los recursos en la nube. * Establecer marcos tanto para procesamiento de datos por lotes como en tiempo real, garantizando fiabilidad, escalabilidad y eficiencia de costos. Desarrollo y orquestación de canalizaciones* Diseñar, construir y optimizar canalizaciones ETL/ELT mediante Apache Airflow para la orquestación de flujos de trabajo. * Implementar transformaciones con dbt (Data Build Tool) para mantener modelos de datos controlados por versiones en BigQuery, asegurando coherencia y fiabilidad a lo largo de la canalización de datos. * Utilizar Google Dataflow (basado en Apache Beam) y Pub/Sub para el procesamiento e ingesta masivos de datos en modo streaming o por lotes. * Automatizar la programación de trabajos y las transformaciones de datos para ofrecer información oportuna destinada al análisis, al aprendizaje automático y a los informes. Arquitectura basada en eventos y microservicios* Implementar flujos de trabajo de datos basados en eventos o asíncronos entre microservicios. * Emplear **Docker y Kubernetes (K8s)** para la contenerización y orquestación, permitiendo flujos de trabajo de datos basados en microservicios flexibles y eficientes. * Implementar canalizaciones de **CI/CD** para agilizar el desarrollo, las pruebas y la implementación de componentes de ingeniería de datos. Calidad de los datos, gobernanza y seguridad* Aplicar estándares de calidad de los datos mediante Great Expectations u otros marcos similares, definiendo y validando expectativas para conjuntos de datos críticos. * Definir y mantener estándares de gestión de metadatos, trazabilidad de los datos (data lineage) y auditoría, para garantizar conjuntos de datos fiables. * Implementar buenas prácticas de seguridad, incluida la cifrado en reposo y en tránsito, la gestión de identidad y accesos (IAM), y el cumplimiento del RGPD o la CCPA, según corresponda. Habilitación de BI y análisis* Colaborar con los equipos de Ciencia de Datos, Analítica y Producto para asegurar que la infraestructura de datos respalde análisis avanzados, incluidas iniciativas de aprendizaje automático. * Mantener entornos de Data Mart (Data Mach) adaptados a dominios empresariales específicos, optimizando el acceso y el rendimiento para los principales interesados. **Requisitos** **Experiencia** * + 3 años o más de experiencia profesional en ingeniería de datos, con al menos 1 año en datos móviles **Experiencia técnica con la pila de GCP** * + Trayectoria comprobada construyendo y manteniendo entornos de **Databricks y BigQuery**, así como data lakes basados en Google Cloud Storage. + Conocimiento profundo de Apache Airflow para la programación/orquestación y el diseño de ETL/ELT. + Experiencia implementando dbt para transformaciones de datos, RabbitMQ para flujos de trabajo basados en eventos, y Pub/Sub + Dataflow para canalizaciones de datos en streaming o por lotes. + Familiaridad con el diseño e implementación de soluciones de Data Mart (Data Mach), así como con el uso de Terraform para IaC. **Programación y contenerización** * + Capacidad sólida de programación en Python, Java o Scala, además de scripting para automatización. + Experiencia con Docker y Kubernetes (K8s) para la contenerización de servicios relacionados con datos. + Experiencia práctica con canalizaciones de CI/CD y herramientas DevOps (por ejemplo, Terraform, Ansible, Jenkins, GitLab CI) para gestionar infraestructura e implementaciones. **Calidad y gobernanza de los datos** * + Competencia en Great Expectations (o similar) para definir y aplicar estándares de calidad de los datos. + Experticia en el diseño de sistemas para trazabilidad de los datos (data lineage), gestión de metadatos y cumplimiento normativo (RGPD, CCPA). + Comprensión sólida de sistemas OLTP (procesamiento de transacciones en línea) y OLAP (procesamiento analítico en línea). **Comunicación** * + Excelentes habilidades comunicativas tanto con audiencias técnicas como no técnicas. + Alto nivel de organización, autodisciplina y capacidad de resolución de problemas. Habilidades deseables: * + Integración de Aprendizaje Automático (ML): Conocimiento de flujos de trabajo completos de ML y despliegue de modelos en GCP (por ejemplo, Vertex AI). + Observabilidad avanzada: Experiencia con Prometheus, Grafana, Datadog o New Relic para supervisar la salud y el rendimiento del sistema. + Seguridad y cumplimiento normativo: Conocimientos avanzados sobre marcos de cumplimiento tales como HIPAA, SOC 2 u otras regulaciones aplicables. + Arquitecturas de datos en tiempo real: Mayor experiencia con Kafka, Spark Streaming u otras soluciones de streaming. + Certificaciones: Las certificaciones específicas de GCP (por ejemplo, Google Professional Data Engineer) son muy valoradas. Serán un plus* Integración de Aprendizaje Automático (ML): Conocimiento de flujos de trabajo completos de ML y despliegue de modelos en GCP (por ejemplo, Vertex AI). * Observabilidad avanzada: Experiencia con Prometheus, Grafana, Datadog o New Relic para supervisar la salud y el rendimiento del sistema. * Seguridad y cumplimiento normativo: Conocimientos avanzados sobre marcos de cumplimiento tales como HIPAA, SOC 2 u otras regulaciones aplicables. * Arquitecturas de datos en tiempo real: Mayor experiencia con Kafka, Spark Streaming u otras soluciones de streaming. * Certificaciones: Las certificaciones específicas de GCP (por ejemplo, Google Professional Data Engineer) son muy valoradas. **Beneficios** ¿Por qué deberías unirte a nosotros? Crecimiento y desarrollo profesional * En Leadtech priorizamos tu crecimiento. Disfruta de una trayectoria profesional flexible con formación interna personalizada y un presupuesto anual para oportunidades externas de aprendizaje. Equilibrio entre vida laboral y personal * Benefíciate de horarios flexibles de entrada y salida, y la opción de trabajar totalmente en remoto o desde nuestra oficina de Barcelona. ¡Disfruta de viernes libres con jornada de 7 horas, además de una semana laboral de 35 horas en julio y agosto para saborear el verano! Beneficios integrales * Salario competitivo, contrato indefinido a tiempo completo y seguro privado de salud de primera categoría (incluidos servicios dentales y psicológicos). * 25 días de vacaciones más tu cumpleaños libre, con opciones flexibles de vacaciones —¡sin días bloqueados! Beneficios únicos * Si deseas venir, en nuestra oficina de Barcelona encontrarás café gratuito, fruta fresca, snacks, una sala de juegos y una terraza en la azotea con impresionantes vistas al Mediterráneo. * Beneficios adicionales incluyen tickets restaurante y vales para guardería, pagados directamente desde tu salario bruto. Únete a un entorno donde eres libre de innovar, aprender y crecer junto a profesionales apasionados. En Leadtech enfrentarás retos emocionantes y formarás parte de un equipo vibrante comprometido con ofrecer experiencias excepcionales a los usuarios. **Empleador con Igualdad de Oportunidades:** Leadtech es un empleador con Igualdad de Oportunidades (EEO), lo que significa que fomentamos las solicitudes de personas con distintos orígenes, intereses y circunstancias personales. Nuestro equipo da la bienvenida a solicitantes independientemente de su raza, género, edad, religión, nacionalidad, orientación sexual y/o discapacidades. ¡Lo único que necesitamos es tu energía, tus habilidades y tu disposición para formar parte de un gran proyecto! **Ubicación** Tendrás la flexibilidad de elegir si deseas acudir diariamente a la oficina, hacerlo ocasionalmente o trabajar completamente en remoto. Queremos que encuentres la combinación ideal para ti. Si prefieres estar rodeado/a de personas extraordinarias, nuestra excepcional oficina se encuentra en el Blue Building de Barcelona, justo en la costa de la ciudad. Además de nuestras impresionantes vistas, disfrutarás de beneficios como fruta gratuita, snacks y café, y también podrás participar en nuestras competiciones de Mario Kart y tenis de mesa. *Los datos personales que proporciones serán tratados con la finalidad de gestionar tu candidatura a los procesos de selección corporativa que se ajusten a tu perfil. Si lo deseas, puedes ejercer tus derechos de acceso, rectificación o supresión escribiéndonos a nuestra dirección (Avenida Litoral, 12-14, 5ta planta. Barcelona. 08005) o al correo electrónico protecciondedatos@LeadTech.com, adjuntando a tu solicitud un documento que pueda validar tu identidad.*