Resumen: Buscamos un Ingeniero Senior de QA para IA que defina la calidad de los sistemas inteligentes, garantizando previsibilidad, seguridad y coherencia en los sistemas de IA de vanguardia. Aspectos destacados: 1. Garantizar calidad, seguridad y fiabilidad en los sistemas de IA de vanguardia 2. Definir qué significa "calidad" para los sistemas inteligentes 3. Desarrollar una estrategia integral de QA para IA que abarque diversos componentes de IA Estamos buscando un **Ingeniero Senior de QA para IA** que asuma la responsabilidad de la **calidad, seguridad y fiabilidad** en los sistemas de IA de vanguardia. Usted será la última línea de defensa para los **flujos de trabajo basados en agentes, las canalizaciones RAG, las integraciones con modelos de lenguaje de gran tamaño (LLM), las API y los sistemas de datos**, asegurando que se comporten de forma previsible, segura y coherente en entornos reales. Este no es un rol de QA tradicional: usted definirá **qué significa "calidad" para los sistemas inteligentes**, diseñando marcos de evaluación, pruebas de estrés, escenarios de equipos rojos (red team) y monitoreo de desviaciones que mantengan los sistemas experimentales de IA listos para producción. Sus responsabilidades * Desarrollar una estrategia integral de **QA para IA** que abarque la interfaz de usuario, el backend, los datos, la recuperación de información y los agentes * Crear **conjuntos de evaluación para LLM, RAG y agentes** (basados en comportamiento, regresión y escenarios) * Desarrollar **automatización de pruebas basada en Python** para agentes, API y canalizaciones * Validar la **calidad de los datos, los embeddings, la precisión de la recuperación y el rendimiento del ordenamiento** * Diseñar **pruebas de casos extremos y pruebas adversariales** (seguridad, robustez, cumplimiento normativo) * Definir **métricas de observabilidad** para latencia, costos, errores y desviaciones del comportamiento * Realizar la clasificación de defectos con un análisis claro de la causa raíz y reportes concisos Requisitos * Conocimientos sólidos de **Python** para automatización de pruebas y entornos de evaluación * Experiencia en pruebas de **IA/ML, modelos de lenguaje de gran tamaño (LLM), RAG o sistemas basados en agentes** * Comprensión de **bases de datos vectoriales, canalizaciones de recuperación y embeddings** * Experiencia con **CI/CD, DevOps y herramientas de observabilidad** * Capacidad para identificar rápidamente **casos extremos, modos de fallo y sistemas no deterministas** * Excelentes habilidades comunicativas y mentalidad orientada a la responsabilidad Deseable * Experiencia en equipos rojos (red teaming) o pruebas de seguridad * Conocimientos de marcos de evaluación o benchmarking para ML * Experiencia previa en sistemas de IA en producción ¿Qué le ofrecemos? * Salario atractivo * Gran libertad e influencia real * Ausencia de competencia poco saludable; enfoque colaborativo para afrontar retos * Cultura laboral centrada en el teletrabajo y flexible * Apartamentos corporativos en ciudades europeas con encanto: trabaje y disfrute de una escapada inolvidable Sobre nosotros Somos una empresa de desarrollo de software con 18 años de experiencia y un portafolio global de proyectos. Ayudamos a las empresas a modernizarse, escalar y innovar mediante soluciones de software personalizadas. Nuestro equipo acoge ideas poco convencionales y nuevas tecnologías, entregando soluciones con impacto real. Si valora el profesionalismo, la creatividad y una sólida cultura de ingeniería, aquí se sentirá como en casa. Tipo de empleo: Jornada completa Remuneración: 54.000,00€ \- 120.000,00€ al año Experiencia: * QA: 5 años (obligatorio) * IA: 3 años (obligatorio) Ubicación del trabajo: Teletrabajo