Quel est votre rôle pour eva ?
Laurène Houtin :
Je suis ce que l’on pourrait appeler une « experte scientifique » pour eva. Tout comme mon collègue Alexis Akinyemi, mon rôle est d’utiliser les méthodes et connaissances scientifiques pour créer un outil qui soit certes ludique, mais aussi fiable.
Plus précisément, il s’agit d’abord de faire en sorte que les mises en situation d’eva permettent bien d’évaluer ce qu’elles sont censées mesurer et que cette évaluation soit juste. Initialement, nous sommes tous les deux chercheurs en Psychologie, et au quotidien, nous travaillons principalement sur la mesure des compétences, notamment sur des aspects de psychométrie (la science qui étudie l’ensemble des techniques statistiques pour élaborer, vérifier, et valider des outils de mesure).
Nous travaillons également à la conception des mises en situation que l’on trouve dans eva, en nous appuyant sur ce qui existe déjà dans la littérature scientifique. Par exemple, nous avons imaginé la mise en situation Maintenance (qui sert à la mesure de la connaissance du vocabulaire en Français) à partir de ce qui existe en dehors du contexte de jeu, dans la littérature scientifique, sur la base d’une tâche qui s’appelle « la tâche de décision lexicale ».
Comment vous assurez-vous de la fiabilité des résultats ? Avec ce format de jeu, cela ne doit pas être facile ?
Lorsqu’on joue à un jeu vidéo, il est très probable que la compétence la plus mobilisée soit la compétence de joueur.se, et non pas la compétence visée (par exemple le Français). De plus, lorsqu’on essaie d’éviter cela, on peut vite avoir tendance à finir par faire des questionnaires illustrés. L’enjeu est donc de trouver un juste milieu entre fiabilité et jouabilité. Cela passe par la conception même du jeu : pour reprendre l’exemple de Maintenance, en dehors de la maîtrise du clavier et de la souris, cette mise en situation ne nécessite aucune compétence d’adresse qui permettrait à certains d’aller plus vite sans maîtriser la compétence ciblée (à savoir le français).
Mais cela passe également par le recours aux méthodes psychométriques et par des ajustements de l’algorithme : nous contrôlons régulièrement la manière dont se répartissent les scores (la réparation des meilleurs scores, des scores moyens et des scores élevés doit toujours être parfaite) en nous appuyant sur des tests statistiques. On travaille en ce sens à faire de l’étalonnage des scores de chaque compétence évaluée dans les mises en situation et au contrôle de la pondération de chaque question et du temps de réponse.
Pour les compétences transversales, comment les accompagnants peuvent-ils exploiter les résultats ?
Les compétences se mobilisent de manière très contextuelles. Ce n’est pas parce que l’on cuisine bien que l’on peut devenir un bon chef.
Le principal besoin qui est comblé avec eva est le fait de pallier une perception d’absence de compétences chez le public éloigné de l’emploi. Dans nos entretiens avec des utilisateurs, on a souvent entendu dire « je ne pourrai jamais trouver un métier, je ne sais rien faire, j’ai pas de compétence ». Les personnes éloignées de l’emploi se sous-estiment énormément, cela n’est pas une surprise pour les personnes qui accompagnent ce public.
eva permet une classification de compétences transversales (qui se trouvent en vérité être des compétences très cognitives), pour prendre conscience de forces que l’on aurait sous-estimées. L’objectif est d’offrir aux évalués la confiance de se positionner sur des formations et des postes qui auraient pu les impressionner au premier abord. La restitution des compétences transversales doit aller dans ce sens : souligner le positif pour encourager à l’action. Les questions de maîtrise effective des compétences se font plus tard, au contact du poste de travail (bien sûr, ici on ne parle pas des compétences de base, en français, en maths, ou des compétences en lien avec la sécurité).
Pour les compétences de base, eva se réfère t-il aux référentiels européens ?
L’objectif d’eva est de s’adapter au vocabulaire de ses utilisateurs, et d’être une solution la plus universelle possible (y compris pour les personnes qui ne seraient pas allées à l’école ou qui seraient allées à l’école à l’étranger). A cet effet, nous intégrons les référentiels européens de littératie et numératie (CEFR et CNEF), puisqu’ils représentent des guides universels qui permettent les comparaisons les plus fines qui soient avec les autres initiatives européennes.
En parallèle, et plus spécifiquement pour les personnes qui seraient allées à l’école en France, nous intégrons également les référentiels de l’Agence Nationale de Lutte Contre l’Illettrisme, dans un alignement rigoureux avec evacob, l’outil de référence de l’accompagnement des personnes en situation d’illettrisme.