Description du poste
À propos du poste Mercor met en relation des talents créatifs et techniques d'élite avec des laboratoires de recherche en IA de premier plan. Basée à San Francisco, notre liste d'investisseurs comprend Benchmark , General Catalyst , Peter Thiel , Adam D'Angelo , Larry Summers , et Jack Dorsey .
Poste : [Titre du rôle]
Type : Travail contractuel à temps plein ou à temps partiel Rémunération : 23 $/heure Lieu : Géographie limitée à l'Égypte, l'Arabie saoudite, les Émirats arabes unis, les États-Unis Responsabilités du rôle
- Évaluer l'efficacité des réponses générées par les LLM pour répondre aux requêtes des utilisateurs.
- Effectuer des vérifications de faits en utilisant des sources publiques fiables et des outils externes.
- Générer des données d'évaluation humaine de haute qualité en annotant les points forts, les points à améliorer et les inexactitudes factuelles des réponses.
- Évaluer la qualité du raisonnement, la clarté, le ton et l'exhaustivité des réponses.
- S'assurer que les réponses du modèle sont conformes au comportement conversationnel attendu et aux directives du système.
- Appliquer des annotations cohérentes en suivant des taxonomies claires, des références et des directives d'évaluation détaillées.
Qualifications Essentiel
- Diplôme de licence
- Locuteur natif ou maîtrise de niveau ILR 5/maîtrise primaire (C2 sur l'échelle du CECR) en arabe
- Expérience significative dans l'utilisation de grands modèles linguistiques (LLM)
- Excellentes compétences rédactionnelles
- Grande attention aux détails
- Adaptable et à l'aise pour naviguer entre différents sujets
- Antécédents ou expérience dans des domaines nécessitant une pensée analytique structurée
- Excellentes compétences en mathématiques de niveau universitaire
Souhaité
- Expérience préalable avec le RLHF, l'évaluation de modèles ou le travail d'annotation de données
- Expérience en rédaction ou en édition de contenu écrit de haute qualité
- Expérience dans la comparaison de multiples résultats et la formulation de jugements qualitatifs précis
- Familiarité avec les grilles d'évaluation, les repères ou les systèmes de notation de qualité
Processus de candidature (prend 20 à 30 minutes)
- Télécharger le CV
- Entretien par IA basé sur votre CV
- Soumettre le formulaire
Ressources et support
- Pour des détails sur le processus d'entretien et les informations sur la plateforme, veuillez consulter : https://talent.docs.mercor.com/welcome/welcome
- Pour toute aide ou support, contactez : support@mercor.com
PS : Notre équipe examine les candidatures quotidiennement. Veuillez compléter votre entretien par IA et les étapes de candidature pour être considéré(e) pour cette opportunité.