Líder Técnico, Spark

Descripción

Resumen: Únase a Cloudera como Ingeniero de Software Senior Staff, Spark (Java), para diseñar, construir y mejorar componentes fundamentales para el procesamiento de datos con una escalabilidad y rendimiento inigualables. Aspectos destacados: 1. Empoderar a las personas para transformar datos complejos en información clara y accionable. 2. Trabajar con Apache Spark y Livy, mejorando importantes sistemas de producción. 3. Colaborar con un equipo distribuido, incluidos colaboradores de Apache Spark. **Área comercial:** Ingeniería**Nivel de experiencia:** Nivel medio-senior**Descripción del puesto:** En Cloudera, empoderamos a las personas para transformar datos complejos en información clara y accionable. Con una cantidad de datos bajo gestión equivalente a la de los proveedores de infraestructura en la nube a gran escala, somos el socio preferido en materia de datos para las principales empresas de casi todos los sectores. Impulsados por la innovación constante de la comunidad de código abierto, Cloudera impulsa la transformación digital en las mayores empresas del mundo. El pilar de la Plataforma de Datos constituye la base tecnológica de Cloudera, donde diseñamos y construimos los componentes fundamentales que permiten a nuestros clientes almacenar, gestionar y procesar datos con una escalabilidad, seguridad y rendimiento inigualables. Cloudera busca un Ingeniero de Software Senior Staff, Spark (Java), con sólida experiencia en sistemas distribuidos, para trabajar en la distribución de Cloudera de Apache Spark y Livy. El puesto implica construir sistemas empresariales para clientes que ejecutan Spark en miles de nodos y procesan petabytes de datos. Buscamos un ingeniero apasionado, deseoso de mejorar un producto que ya respalda importantes sistemas de producción y de impulsar la próxima generación de experiencias en ingeniería de datos. Colaborará con un equipo distribuido en Estados Unidos y Hungría, incluidos múltiples colaboradores de Apache Spark. **Este puesto no es elegible para patrocinio migratorio ni para reubicación.** **Como Ingeniero de Software Senior Staff, usted:** * Diseñará nuevas funciones para la experiencia de ingeniería de datos de Cloudera y las llevará desde prototipos hasta liderar a un equipo para entregar dicha función en producción a gran escala. * Contribuirá a Apache Spark y Livy. * Desarrollará nuevas funciones en Scala/Java/Python sobre plataformas modernas. * Adquirirá experiencia especializada en el procesamiento distribuido de datos, desde planificadores y optimizadores SQL hasta diseños de datos y formatos de tablas como Apache Parquet e Iceberg, pasando por la tolerancia a fallos en sistemas distribuidos. * Obtendrá una comprensión sólida y conocimientos técnicos profundos de los componentes que conforman la pila de experiencia de ingeniería de datos de Cloudera, centrándose especialmente en Iceberg y Spark, lo cual podrá aplicar en sus tareas diarias. * Trabajará en sistemas distribuidos a gran escala, desde cientos hasta miles de nodos, en clústeres de producción. * Depurará problemas de implementación a nivel de sistema, realizará análisis de causas fundamentales, análisis de pruebas del sistema y resolverá fallos. * Trabajará en la mejora de la infraestructura interna. * Colaborará con otros miembros del equipo y partes interesadas. **Nos entusiasma si usted cuenta con (experiencia requerida):** * Licenciatura/Maestría en un campo relacionado o experiencia equivalente. * 6 años o más de experiencia profesional en desarrollo de software. * Experiencia liderando y entregando mejoras complejas de productos. * Utilizamos Java/Scala/Python en nuestros proyectos; debe tener un conocimiento sólido de al menos uno de los siguientes lenguajes: Java, Scala o Python, y estar interesado en aprender los lenguajes que utilizamos. * Experiencia en diseño y desarrollo de sistemas. * Pasión por la programación, hábitos de codificación limpia, atención al detalle y enfoque en la calidad. * Excelentes habilidades de comunicación oral y escrita. * Capacidad sólida para investigar y resolver problemas de forma independiente sin supervisión constante. * (Lo más importante) Mentalidad abierta, deseo de aprender cosas nuevas y construir excelentes productos. * Experiencia en sistemas distribuidos. **También podría tener:** * Experiencia con planificadores SQL. * Experiencia utilizando/desarrollando Apache Spark, Livy u otras tecnologías relacionadas. * Experiencia en diseño y desarrollo de sistemas distribuidos a gran escala, con comprensión de escalabilidad, rendimiento y programación. * Experiencia sólida con al menos una nube **Por qué este puesto es fundamental:** Usted enfrentará desafíos complejos en sistemas distribuidos, creando el software fundamental para los planos de control y de datos que impulsan CDP y lo mantienen operativo a una escala masiva. Al trabajar a la vanguardia de la tecnología híbrida y multi-nube, empoderará a científicos de datos, ingenieros y analistas con las herramientas e infraestructura necesarias para análisis y modelado avanzados. La colaboración es clave: trabajará junto a mentes brillantes de los equipos de producto, ciencia de datos e ingeniería para impulsar la innovación, estandarizar las mejores prácticas y dar forma al futuro de las plataformas empresariales de inteligencia artificial y datos. Esta es su oportunidad de construir el futuro de los datos y ver cómo su trabajo genera un impacto global. **Qué puede esperar de nosotros:** * Política generosa de días libres pagados (PTO). * Apoyo al equilibrio entre vida laboral y personal mediante Días Desconectados. * Política flexible de trabajo remoto. * Programas de bienestar mental y físico. * Programa de reembolso para teléfono e internet. * Acceso al desarrollo continuo de su carrera. * Beneficios integrales y paquetes competitivos. * Tiempo remunerado para actividades voluntarias. * Grupos de recursos para empleados. Igualdad de oportunidades en el empleo / Ley de Veteranos (VEVRAA) \#LI\-AO1 \#LI\-HYBRID \#LI\-REMOTE