Arquitecto de Big Data

Descripción

Resumen: Buscamos un Arquitecto de Big Data altamente cualificado para diseñar entornos de Big Data, incluido el Global Data Lake, y mejorar las ofertas de Sustainable Estimatics. Aspectos destacados: 1. Diseñar entornos y proyectos de Big Data, incluido el Global Data Lake 2. Contribuir a la innovación en toda la industria mediante prácticas sostenibles 3. Liderar el desarrollo de soluciones escalables de API para Data as a Service (DaaS) Arquitecto de Big Data Propósito del puesto: Buscamos un Arquitecto de Big Data altamente cualificado y experimentado para unirse a nuestro equipo internacional. Desempeñará un papel fundamental al diseñar nuestros entornos y proyectos de Big Data, incluido el Global Data Lake, mientras mejora nuestras ofertas de Sustainable Estimatics. Sustainable Estimatics es una suite líder dentro de la empresa, reconocida por su impacto sustancial en la industria. Con nuestros algoritmos innovadores y certificados, ofrecemos a nuestros clientes importantes ahorros de costes al minimizar los residuos y optimizar el uso de recursos. Al integrar principios de sostenibilidad en nuestras prácticas de Estimatics, contribuimos activamente al esfuerzo colectivo de la industria para reducir el impacto ambiental. Nuestro compromiso con la sostenibilidad va más allá de los proyectos individuales; buscamos impulsar la innovación en toda la industria mediante el desarrollo continuo de nuevas tecnologías y prácticas que generen un efecto positivo tanto para el medio ambiente como para la sociedad. Como Arquitecto de Big Data, será responsable del diseño de la arquitectura general de nuestros sistemas de datos, garantizando que sean robustos, escalables y eficientes. Desarrollará estrategias y marcos arquitectónicos que guíen nuestras iniciativas de procesamiento de datos, permitiendo la gestión eficaz de grandes volúmenes de datos procedentes de diversas fuentes en todo el mundo. Qué hará usted: \- Diseñar e implementar arquitecturas de datos escalables y eficientes que respalden las canalizaciones de procesamiento de datos mediante Cloudera, Spark y otras tecnologías relevantes. \- Liderar el desarrollo de soluciones escalables de API para facilitar Data as a Service (DaaS), brindando acceso fluido a los datos tanto para clientes externos como internos. \- Establecer buenas prácticas para los procesos de ingesta, transformación y almacenamiento de datos, asegurando la calidad, integridad y disponibilidad de los datos en ubicaciones internacionales. \- Colaborar con equipos multifuncionales para recopilar requisitos comerciales y traducirlos en especificaciones arquitectónicas completas para el procesamiento y análisis de datos. \- Optimizar flujos de trabajo de datos y el rendimiento de los trabajos de Spark para garantizar que cumplan con rigurosos requisitos de latencia y throughput al procesar conjuntos masivos de datos. \- Realizar resolución de problemas y ajuste de rendimiento de infraestructura en la nube o local para identificar cuellos de botella de rendimiento y mejorar la utilización de recursos. \- Aprovechar herramientas como New Relic para la supervisión del rendimiento y Graylog para el análisis de registros. \- Trabajar estrechamente con científicos de datos y analistas para garantizar conjuntos de datos oportunos y fiables para análisis avanzados y modelos de aprendizaje automático. \- Implementar prácticas de gobernanza de datos y garantizar el cumplimiento de las normativas de privacidad y seguridad de los datos en distintas regiones. \- Mantenerse actualizado sobre tecnologías emergentes y tendencias del sector relacionadas con el procesamiento de Big Data, Cloudera y Spark, y proponer soluciones arquitectónicas innovadoras para mejorar las capacidades de procesamiento de datos. \- Brindar liderazgo técnico, tutoría y orientación a los equipos de ingeniería, fomentando una cultura colaborativa e innovadora dentro del grupo internacional. \- Participar en prácticas de desarrollo ágil, incluidas la planificación de sprints, revisiones arquitectónicas y la integración y despliegue continuos, para garantizar la entrega de software de alta calidad. Requisitos para este puesto: \- Título universitario (Licenciatura o Máster) en Ciencias de la Computación, Ciencia de Datos o campo relacionado. \- Un mínimo de 7 años de experiencia laboral en arquitectura de Big Data, preferiblemente con tecnologías Cloudera y Spark. \- Conocimientos sólidos sobre arquitecturas de API y mejores prácticas, con experiencia en el desarrollo de APIs para soluciones Data as a Service (DaaS). \- Alta competencia en lenguajes de programación como Scala, Python o Java, con capacidad para diseñar e implementar soluciones complejas de datos. \- Conocimiento profundo de los principios y marcos de computación distribuida, incluidos Hadoop y Spark. \- Experiencia extensa con la distribución Cloudera y herramientas como HDFS, Hive, Impala y HBase. \- Conocimientos sólidos sobre modelado de datos y principios de diseño de bases de datos, incluidos diseño de esquemas, particionamiento e indexación. \- Comprensión sólida de bases de datos SQL y NoSQL, conceptos de almacenamiento de datos y procesos ETL. \- Experiencia demostrada en el diseño, implementación y optimización de canalizaciones de datos mediante Spark Streaming, Spark SQL u otros módulos de Spark. \- Familiaridad con técnicas y herramientas de ingesta de datos, como Kafka, Flume, Sqoop o Nifi. \- Experiencia con plataformas en la nube como AWS o Azure, y conocimientos de tecnologías de contenerización como Docker o Kubernetes son un plus. \- Conocimiento de prácticas de gobernanza, privacidad y seguridad de los datos, especialmente en un contexto internacional. \- Excelentes habilidades de resolución de problemas y análisis, con capacidad para diseñar soluciones que optimicen los flujos de trabajo de procesamiento de datos. \- Se requiere inglés, con habilidades comunicativas para transmitir con eficacia conceptos técnicos complejos tanto a partes interesadas técnicas como no técnicas. \#LI\-JG1 Remuneración: Desde 40.000\.00€ al año Pregunta(s) de la solicitud: * ¿Cuántos años de experiencia utilizando Cloudera? * ¿Cuántos años de experiencia utilizando Spark? * ¿Cuántos años de experiencia como Ingeniero de Big Data? Idioma: * Inglés (Obligatorio) Ubicación laboral: Híbrido remoto en 28108 La Moraleja, provincia de Madrid