Ingeniero Senior de Datos - Aplicaciones Móviles

Descripción

Resumen: Buscamos un Ingeniero Senior de Datos para diseñar, desarrollar y optimizar la infraestructura de datos, arquitecturar canalizaciones escalables y aplicar estándares de calidad de datos mediante soluciones nativas en la nube modernas. Aspectos destacados: 1. Diseñar y optimizar la infraestructura de datos utilizando Databricks y BigQuery en GCP. 2. Arquitecturar canalizaciones ETL/ELT escalables con Airflow, dbt, Dataflow y Pub/Sub. 3. Implementar una arquitectura de microservicios impulsada por eventos con Docker y Kubernetes. Buscamos un **Ingeniero Senior de Datos** para diseñar, desarrollar y optimizar nuestra infraestructura de datos en **Databricks**. Usted arquitecturará canalizaciones escalables utilizando BigQuery, Google Cloud Storage, Apache Airflow, dbt, Dataflow y Pub/Sub, garantizando alta disponibilidad y rendimiento en todos nuestros procesos ETL/ELT. Utilizará Great Expectations para aplicar estándares de calidad de datos. La función también implica construir nuestro entorno de Data Mart (Data Mach) e implementar las mejores prácticas de CI/CD. Un candidato exitoso posee amplios conocimientos sobre soluciones de datos nativas en la nube, una sólida experiencia con marcos ETL/ELT (incluido dbt) y pasión por construir canalizaciones robustas y rentables. Responsabilidades clave Arquitectura y estrategia de datos * Definir e implementar la arquitectura general de datos en GCP, incluidos el almacenamiento de datos en BigQuery/Databricks, los patrones de data lake en Google Cloud Storage y las soluciones de Data Mart (Data Mach). * Integrar Terraform para Infrastructure as Code (IaC) con el fin de aprovisionar y gestionar eficientemente los recursos en la nube. * Establecer marcos tanto para procesamiento de datos por lotes como en tiempo real, asegurando fiabilidad, escalabilidad y eficiencia de costos. Desarrollo y orquestación de canalizaciones * Diseñar, construir y optimizar canalizaciones ETL/ELT utilizando Apache Airflow para la orquestación de flujos de trabajo. * Implementar transformaciones con dbt (Data Build Tool) para mantener modelos de datos bajo control de versiones en BigQuery, garantizando coherencia y fiabilidad en toda la canalización de datos. * Usar Google Dataflow (basado en Apache Beam) y Pub/Sub para el procesamiento e ingesta masivos de datos por lotes o en flujo continuo. * Automatizar la programación de trabajos y las transformaciones de datos para entregar información oportuna destinada al análisis, al aprendizaje automático y a los informes. Arquitectura impulsada por eventos y microservicios * Implementar flujos de trabajo de datos asíncronos o impulsados por eventos entre microservicios. * Emplear **Docker y Kubernetes (K8s)** para la contenerización y orquestación, permitiendo flujos de trabajo de datos basados en microservicios flexibles y eficientes. * Implementar canalizaciones de **CI/CD** para facilitar el desarrollo, las pruebas y la implementación de componentes de ingeniería de datos. Calidad de datos, gobernanza y seguridad * Aplicar estándares de calidad de datos mediante Great Expectations u otros marcos similares, definiendo y validando expectativas para conjuntos de datos críticos. * Definir y mantener estándares de gestión de metadatos, trazabilidad de datos y auditoría para garantizar conjuntos de datos fiables. * Aplicar buenas prácticas de seguridad, incluida la cifrado en reposo y en tránsito, Identity and Access Management (IAM), y el cumplimiento del GDPR o el CCPA según corresponda. Habilitación de BI y análisis * Colaborar con los equipos de Ciencia de Datos, Analítica y Producto para garantizar que la infraestructura de datos respalde análisis avanzados, incluidas iniciativas de aprendizaje automático. * Mantener entornos de Data Mart (Data Mach) adaptados a dominios comerciales específicos, optimizando el acceso y el rendimiento para los principales interesados. **Requisitos** **Experiencia** * + 3 años o más de experiencia profesional en ingeniería de datos, con al menos 1 año en datos móviles **Conocimientos técnicos con la pila de GCP** * + Trayectoria comprobada en la construcción y mantenimiento de entornos **Databricks y BigQuery**, y de data lakes basados en Google Cloud Storage. + Conocimiento profundo de Apache Airflow para la programación/orquestación y el diseño ETL/ELT. + Experiencia implementando dbt para transformaciones de datos, RabbitMQ para flujos de trabajo impulsados por eventos, y Pub/Sub + Dataflow para canalizaciones de datos por lotes o en flujo continuo. + Familiaridad con el diseño e implementación de soluciones de Data Mart (Data Mach), así como con el uso de Terraform para IaC. **Programación y contenerización** * + Capacidad sólida de programación en Python, Java o Scala, además de scripts para automatización. + Experiencia con Docker y Kubernetes (K8s) para la contenerización de servicios relacionados con datos. + Experiencia práctica con canalizaciones CI/CD y herramientas DevOps (por ejemplo, Terraform, Ansible, Jenkins, GitLab CI) para gestionar infraestructura e implementaciones. **Calidad de datos y gobernanza** * + Competencia en Great Expectations (o similar) para definir y aplicar estándares de calidad de datos. + Experiencia en el diseño de sistemas para trazabilidad de datos, gestión de metadatos y cumplimiento normativo (GDPR, CCPA). + Comprensión sólida de sistemas OLTP (procesamiento de transacciones en línea) y OLAP (procesamiento analítico en línea). **Comunicación** * + Excelentes habilidades comunicativas ante audiencias tanto técnicas como no técnicas. + Alto nivel de organización, autodisciplina y capacidad para resolver problemas. Habilidades preferidas: * + Integración de Aprendizaje Automático (ML): familiaridad con flujos de trabajo ML de extremo a extremo y despliegue de modelos en GCP (por ejemplo, Vertex AI). + Observabilidad avanzada: experiencia con Prometheus, Grafana, Datadog o New Relic para monitoreo de salud y rendimiento del sistema. + Seguridad y cumplimiento: conocimiento avanzado de marcos de cumplimiento como HIPAA, SOC 2 u otras regulaciones aplicables. + Arquitecturas de datos en tiempo real: mayor experiencia con Kafka, Spark Streaming u otras soluciones de streaming. + Certificaciones: se valoran especialmente las certificaciones específicas de GCP (por ejemplo, Google Professional Data Engineer). Serán un plus * Integración de Aprendizaje Automático (ML): familiaridad con flujos de trabajo ML de extremo a extremo y despliegue de modelos en GCP (por ejemplo, Vertex AI). * Observabilidad avanzada: experiencia con Prometheus, Grafana, Datadog o New Relic para monitoreo de salud y rendimiento del sistema. * Seguridad y cumplimiento: conocimiento avanzado de marcos de cumplimiento como HIPAA, SOC 2 u otras regulaciones aplicables. * Arquitecturas de datos en tiempo real: mayor experiencia con Kafka, Spark Streaming u otras soluciones de streaming. * Certificaciones: se valoran especialmente las certificaciones específicas de GCP (por ejemplo, Google Professional Data Engineer). **Beneficios** ¿Por qué deberías unirte a nosotros? Crecimiento y desarrollo profesional * En Leadtech priorizamos tu crecimiento. Disfruta de una trayectoria profesional flexible con formación interna personalizada y un presupuesto anual para oportunidades externas de aprendizaje. Equilibrio entre vida laboral y personal * Benefíciate de horarios flexibles de entrada y salida, y de la opción de trabajar completamente en remoto o desde nuestra oficina en Barcelona. ¡Disfruta de viernes libres con una jornada de 7 horas, además de una semana laboral de 35 horas en julio y agosto para saborear el verano! Beneficios integrales * Salario competitivo, contrato indefinido a tiempo completo y seguro médico privado de primer nivel (incluyendo cobertura odontológica y psicológica). * 25 días de vacaciones más tu cumpleaños libre, con opciones flexibles de vacaciones —¡sin días bloqueados! Beneficios únicos * Si deseas venir, en nuestra oficina de Barcelona encontrarás café gratuito, fruta fresca, snacks, una sala de juegos y una terraza en la azotea con impresionantes vistas al Mediterráneo. * Otros beneficios adicionales incluyen vales de restaurante y vales de guardería, pagados directamente desde tu salario bruto. Únete a un entorno donde tienes libertad para innovar, aprender y crecer junto a profesionales apasionados. En Leadtech afrontarás desafíos emocionantes y formarás parte de un equipo vibrante comprometido con ofrecer experiencias excepcionales al usuario. **Empleador con Igualdad de Oportunidades:** Leadtech es un Empleador con Igualdad de Oportunidades (EEO), lo que significa que animamos a personas con distintos antecedentes, intereses y circunstancias personales a presentar su candidatura. Nuestro equipo da la bienvenida a solicitantes sin importar su raza, género, edad, religión, nacionalidad, orientación sexual y/o discapacidades. ¡Lo único que necesitamos es tu gran energía, tus habilidades y tu disposición para formar parte de un excelente proyecto! **Ubicación** Tendrás la flexibilidad de elegir si deseas acudir a la oficina todos los días, ocasionalmente o trabajar completamente en remoto. Queremos que encuentres la combinación ideal para ti. Si prefieres estar rodeado de personas increíbles, nuestra extraordinaria oficina está ubicada en el Blue Building de Barcelona, justo frente al mar. Además de nuestras impresionantes vistas, disfrutarás de los beneficios de la oficina, como fruta, snacks y café gratuitos, y también podrás participar en nuestras competiciones de Mario Kart y tenis de mesa. *Los datos personales que proporciones serán tratados con el fin de gestionar tu candidatura a los procesos de selección corporativa que se ajusten a tu perfil. Si lo deseas, puedes ejercer tus derechos de acceso, rectificación o cancelación escribiéndonos a nuestra dirección (Avenida Litoral, 12-14, 5ta planta. Barcelona. 08005) o al correo electrónico protecciondedatos@LeadTech.com, adjuntando a tu solicitud un documento que permita validar tu identidad.*