Ingeniero Senior de Datos - Databricks

Descripción

Intetics Inc. es una empresa tecnológica global especializada en desarrollo de software personalizado, soluciones impulsadas por inteligencia artificial, tecnologías en la nube y transformación digital. Con más de 30 años de experiencia, ayudamos a organizaciones de todo el mundo a construir soluciones escalables, innovadoras y basadas en datos en una amplia gama de industrias. Buscamos profesionales talentosos apasionados por resolver desafíos técnicos complejos y construir plataformas de datos de alta calidad. **Impacto que tendrás en este puesto:** * Gestionar el soporte de producción de Databricks para la plataforma de datos de la empresa, incluyendo supervisión, alertas y respuesta a incidencias en todos los flujos de datos productivos. * Mantener y reportar métricas de rendimiento de los Acuerdos de Nivel de Servicio (SLA) para la entrega de canalizaciones de datos, garantizando visibilidad sobre la salud de la plataforma y responsabilidad ante partes interesadas internas y externas. * Identificar e implementar optimizaciones de canalizaciones que reduzcan los costos computacionales de Databricks, mejoren el rendimiento y acorten las ventanas de procesamiento, mientras se miden sus impactos mediante KPI cuantificables. * Migrar canalizaciones heredadas de ETL/ELT a Databricks, desarrollando herramientas de automatización para reducir la intervención manual y asegurar una entrega ininterrumpida de datos durante las transiciones. * Apoyar la incorporación de nuevos clientes mediante el aprovisionamiento, validación y reforzamiento de canalizaciones de datos por inquilino que ofrezcan datos fiables y aislados desde el primer día. * Diseñar y construir canalizaciones de Databricks de alto rendimiento que ingieran, transformen y sirvan datos de ERP y CRM a escala, tanto en entornos Azure como AWS. * Gestionar la arquitectura Delta Lake, incluyendo diseño de esquemas, estrategias de particionamiento, aplicación de calidad de datos y patrones de procesamiento incremental. * Aplicar las mejores prácticas en seguridad de datos en los entornos de Databricks, incluyendo control de acceso basado en roles, gestión de secretos y cumplimiento de los requisitos normativos aplicables a los datos empresariales. * Implementar monitoreo de calidad de datos y observabilidad en la salud de las canalizaciones y las entradas de modelos de aprendizaje automático, garantizando la integridad de los datos que respalda directamente el análisis predictivo. * Aplicar y hacer cumplir patrones de aislamiento de datos multiinquilino, asegurando una entrega de datos fiable y segura entre clientes empresariales. * Colaborar con el equipo de Arquitectura Empresarial para garantizar que las canalizaciones de datos se integren sin problemas con el ecosistema más amplio de inteligencia artificial y análisis. * Apoyar una operación distribuida globalmente mediante turnos de guardia y respuesta a incidencias fuera del horario laboral, cumpliendo los SLA en múltiples zonas horarias. * Mantener documentación técnica, manuales operativos y registros de decisiones arquitectónicas, contribuyendo al intercambio de conocimientos del equipo y a la preparación operativa en escenarios de guardia y respuesta a incidencias. Aplicar las mejores prácticas de CI/CD al desarrollo de canalizaciones de datos, incluyendo control de versiones, pruebas automatizadas y herramientas de despliegue para garantizar una entrega fiable y repetible de canalizaciones. * **Requisitos** **Lo que aportarás:*** 4 o más años de experiencia en ingeniería de datos. * Al menos 2 años de experiencia con Databricks o el ecosistema Apache Spark en Azure y/o AWS. * Competencia en PySpark, SQL y Python, con un historial sólido en la construcción y operación de canalizaciones de producción bajo restricciones de SLA. * Experiencia práctica con Delta Lake, incluyendo evolución de esquemas, transacciones ACID, ciclo de vida de optimize/vacuum y patrones tanto de procesamiento incremental como de streaming. * Experiencia práctica en ajuste de rendimiento de canalizaciones y optimización computacional en entornos productivos de Databricks. * Conocimientos sólidos de PostgreSQL, incluyendo optimización de consultas, diseño de esquemas y su uso como origen o destino en canalizaciones de datos productivas. * Experiencia en el soporte y mantenimiento de herramientas heredadas de ETL (SSIS, Informatica, canalizaciones personalizadas en Python/SQL u otras similares) en producción. * Experiencia en el soporte de arquitecturas multiinquilino a gran escala, con énfasis en aislamiento por inquilino, rendimiento por inquilino y privacidad de datos, incluyendo la gestión de herramientas y plataformas que por defecto asumen un modelo de un solo inquilino. * Capacidad comprobada para trabajar colaborativamente con equipos de ciencia de datos, producto e infraestructura, asumiendo la entrega integral en entornos multifuncionales. * Comprensión sólida de los principios de gobernanza, seguridad y cumplimiento de datos, incluyendo control de acceso, privacidad de datos y protección de datos empresariales sensibles en entornos multiinquilino. **Cualificaciones / Experiencia deseables:*** Experiencia operando espacios de trabajo de Databricks tanto en Azure como en AWS, incluyendo gobernanza de costos, gestión de clústeres y acceso a datos entre nubes. * Experiencia optimizando cargas de trabajo de Databricks en entornos sin servidor, incluyendo gobernanza de costos computacionales y ajuste de rendimiento para cómputo sin servidor. * Experiencia con Microsoft SQL Server en contextos de ingeniería de datos o ETL. * Conocimiento de ingeniería de características para aprendizaje automático o almacenes de características (Databricks Feature Store, Feast u otros similares) que apoyen el análisis predictivo. * Experiencia en automatización de la incorporación de clientes o en patrones de Infraestructura como Código (IaC) para aprovisionar canalizaciones de datos por inquilino a escala. * Certificación Databricks Certified Data Engineer Associate o Professional.