Resumen: Este puesto implica colaborar con equipos líderes de IA para evaluar y mejorar el comportamiento general de chat en modelos de lenguaje grande (LLM), proporcionando retroalimentación humana de alta calidad y garantizando su precisión. Aspectos destacados: 1. Colaborar con equipos líderes de IA para mejorar los sistemas de IA conversacional 2. Evaluar y mejorar el comportamiento general de chat en modelos de lenguaje grande (LLM) 3. Aplicar un pensamiento analítico estructurado a la evaluación de modelos de IA **Modalidad de trabajo:** Teletrabajo **Tipo de vinculación:** Contratista independiente **Horario:** Contrato a tiempo completo o a tiempo parcial **Función:** Colabora con equipos líderes de IA para mejorar la calidad, utilidad y fiabilidad de los sistemas de IA conversacional de propósito general. Estos sistemas se utilizan en una amplia gama de escenarios cotidianos y profesionales, y su eficacia depende de la claridad, precisión y utilidad con que responden a las preguntas reales de los usuarios. Este proyecto se centra en evaluar y **mejorar el comportamiento general de chat** en modelos de lenguaje grande (LLM). Evaluará las respuestas generadas por el modelo sobre diversos temas, proporcionará retroalimentación humana de alta calidad y ayudará a garantizar que los sistemas de IA se comuniquen de forma precisa, bien razonada y alineada con las expectativas humanas. **Sus responsabilidades** * Evaluar las respuestas generadas por LLM en cuanto a su capacidad para responder eficazmente a las consultas de los usuarios * Realizar verificaciones de hechos utilizando fuentes públicas de confianza y herramientas externas * Generar datos humanos de evaluación de alta calidad mediante la anotación de puntos fuertes de las respuestas, áreas de mejora e inexactitudes factuales * Evaluar la calidad del razonamiento, la claridad, el tono y la integridad de las respuestas * Asegurar que las respuestas del modelo se alineen con el comportamiento conversacional esperado y con las directrices del sistema * Aplicar anotaciones coherentes siguiendo taxonomías claras, referencias comparativas y pautas detalladas de evaluación **Perfil requerido** * Posee un **título universitario** * Es **hablante nativo** o tiene **nivel ILR 5 / dominio principal (C2 según la escala CEFR)** en **árabe** * Tiene **experiencia significativa en el uso de modelos de lenguaje grande (LLM)** y comprende cómo y por qué las personas los utilizan * Tiene **excelentes habilidades de redacción** y puede articular con claridad comentarios matizados * Tiene una **gran atención al detalle** y detecta sistemáticamente problemas sutiles que otros podrían pasar por alto * Es **adaptable** y se siente cómodo trabajando en distintos temas, ámbitos y requisitos de los clientes * Tiene formación o experiencia en ámbitos que requieren **pensamiento analítico estructurado** (por ejemplo, investigación, política, análisis de datos, lingüística, ingeniería) * Tiene **excelentes competencias matemáticas a nivel universitario** **Conocimientos deseables** * Experiencia previa en **retroalimentación humana reforzada (RLHF), evaluación de modelos o trabajo de anotación de datos** * Experiencia escribiendo o editando **contenido escrito de alta calidad** * Experiencia comparando múltiples salidas y realizando **juicios cualitativos finos** * **Familiaridad con rúbricas de evaluación**, referencias comparativas o sistemas de puntuación de calidad **Indicadores de éxito** * Identifica inexactitudes factuales, errores de razonamiento y brechas comunicativas en las respuestas del modelo * Produce artefactos de evaluación claros, coherentes y reproducibles * Su retroalimentación genera mejoras medibles en la calidad de las respuestas y en la experiencia del usuario **Términos contractuales y de pago** ------------------------------ * Será contratado/a como contratista independiente. * Se trata de un puesto completamente remoto que puede realizarse según su propio horario. * Los proyectos pueden ampliarse, acortarse o finalizarse anticipadamente según las necesidades y el desempeño. * Los pagos se realizan semanalmente mediante Stripe o Wise, según los servicios prestados.