Ingeniero de Datos — Flujos de Datos e Ingesta

Descripción

Resumen: Ingeniero práctico centrado en la migración de fuentes de datos en tiempo real, la gestión de consumidores de EventHub y la garantía de un flujo de datos en tiempo real fiable, con énfasis en patrones de transmisión y calidad de los datos. Puntos destacados: 1. Ingeniero práctico centrado en la migración de ingesta de flujos de datos 2. Implementar y ajustar grupos de consumidores de EventHub y transformaciones de datos 3. Construir y ejecutar marcos de validación de datos para garantizar la paridad de los resultados **Resumen del puesto**: Ingeniero práctico centrado en el lado de la ingesta de flujos de datos de la migración: conexión de fuentes de datos Telelog, gestión de consumidores de EventHub y garantía de un flujo de datos en tiempo real fiable hacia la arquitectura objetivo. Énfasis en patrones de transmisión, calidad de los datos durante la ingesta y validación frente a resultados heredados. Responsabilidades **Migrar las canalizaciones existentes de flujos de datos Telelog a la arquitectura objetivo (EventHub → Databricks)** Implementar y ajustar grupos de consumidores de EventHub, particionamiento y control de puntos de control **Implementar transformaciones de datos en PySpark/Databricks para distintas regiones y tipos de unidades centrales** Construir y ejecutar marcos de validación de datos para garantizar la paridad de los resultados entre las canalizaciones antiguas y las nuevas **Escribir pruebas y garantizar la calidad de los datos en todas las etapas de ingesta de flujos de datos** Colaborar con el responsable técnico en decisiones de diseño y con el ingeniero por lotes en los puntos de transferencia Habilidades requeridas **Experiencia intermedia o senior (3+ años) en ingeniería de datos con enfoque en flujos de datos** Amplia experiencia con plataformas de transmisión (Kafka, EventHubs, Spark Structured Streaming) **Experiencia con PySpark / Databricks** Fundamentos de Azure (ADLS, EventHubs, KeyVaults) **Calidad y pruebas de datos — estrategias de validación, conciliación** Conocimientos de Infraestructura como Código (Terraform, Bicep) **Conocimientos de FinOps — comprensión de las implicaciones de coste de las decisiones sobre recursos de transmisión** Python **Git (GitLab), Jira, Confluence** Inglés fluido A tener en cuenta (opcional) **Experiencia en migraciones de transmisión a procesamiento por lotes** Conocimientos jurídicos y de cumplimiento (GDPR, manejo de datos personales identificables, Ley Europea de Datos) **Java (para comprender el código heredado de Telelog)** Tipo de empleo: A tiempo completo Remuneración: 30.000,00€ \- 45.000,00€ al año Idioma: * inglés (Obligatorio) Lugar de trabajo: Remoto