Entrenador de inglés e italiano - Trabajo remoto

Descripción

Resumen: Evaluar y mejorar el comportamiento general de chat en modelos de lenguaje grande mediante la evaluación de respuestas, la provisión de retroalimentación humana y la garantía de precisión y alineación con las expectativas humanas. Aspectos destacados: 1. Colaborar con equipos líderes de IA para mejorar los sistemas de IA conversacional 2. Evaluar y mejorar el comportamiento general de chat en modelos de lenguaje grande (LLM) 3. Contribuir a la precisión, el razonamiento y la alineación de la comunicación de la IA **Modalidad de trabajo:** Remoto **Tipo de vinculación:** Contratista independiente **Horario:** Contrato a tiempo completo o a tiempo parcial **Rol:** Colabora con equipos líderes de IA para mejorar la calidad, utilidad y fiabilidad de los sistemas de IA conversacional de propósito general. Estos sistemas se utilizan en una amplia gama de escenarios cotidianos y profesionales, y su eficacia depende de la claridad, precisión y utilidad con que responden a las preguntas reales de los usuarios. Este proyecto se centra en evaluar y **mejorar el comportamiento general de chat** en modelos de lenguaje grande (LLM). Evaluará las respuestas generadas por el modelo sobre diversos temas, proporcionará retroalimentación humana de alta calidad y ayudará a garantizar que los sistemas de IA comuniquen de forma precisa, bien razonada y alineada con las expectativas humanas. **Sus responsabilidades** * Evaluar las respuestas generadas por LLM según su capacidad para responder eficazmente a las consultas de los usuarios * Realizar verificaciones de hechos utilizando fuentes públicas confiables y herramientas externas * Generar datos de evaluación humana de alta calidad mediante la anotación de puntos fuertes de las respuestas, áreas de mejora e inexactitudes factuales * Evaluar la calidad del razonamiento, la claridad, el tono y la integridad de las respuestas * Asegurar que las respuestas del modelo se alineen con el comportamiento conversacional esperado y con las directrices del sistema * Aplicar anotaciones consistentes siguiendo taxonomías claras, referencias comparativas y pautas detalladas de evaluación **Perfil requerido** * Posee un **título universitario** * Es **hablante nativo** o tiene **fluidez primaria de nivel ILR 5 (C2 según la escala CEFR)** en **italiano** * Tiene **experiencia significativa en el uso de modelos de lenguaje grande (LLM)** y comprende cómo y por qué las personas los utilizan * Tiene **excelentes habilidades de redacción** y puede articular con claridad comentarios matizados * Tiene una **gran atención al detalle** y detecta sistemáticamente problemas sutiles que otros podrían pasar por alto * Es **adaptable** y se siente cómodo trabajando en distintos temas, dominios y requisitos de los clientes * Tiene formación o experiencia en ámbitos que requieren **pensamiento analítico estructurado** (por ejemplo, investigación, política, análisis de datos, lingüística, ingeniería) * Tiene **excelentes competencias matemáticas a nivel universitario** **Conocimientos adicionales deseables** * Experiencia previa en **retroalimentación humana para el aprendizaje por refuerzo (RLHF), evaluación de modelos o trabajo de anotación de datos** * Experiencia en redacción o edición de **contenido escrito de alta calidad** * Experiencia comparando múltiples resultados y realizando **juicios cualitativos finos** * **Familiaridad con rúbricas de evaluación**, referencias comparativas o sistemas de calificación de calidad **Indicadores de éxito** * Identifica inexactitudes factuales, errores de razonamiento y brechas comunicativas en las respuestas del modelo * Produce artefactos de evaluación claros, consistentes y reproducibles * Su retroalimentación conduce a mejoras medibles en la calidad de las respuestas y en la experiencia del usuario