R/EXAMS

Le cœur du package R/exams repose sur la possibilité de créer des modèles d’exercices (sous forme de fichiers R/Markdown ou Rnw) intégrant des paramètres aléatoires. À chaque exécution, des valeurs différentes sont tirées aléatoirement, ce qui permet de générer de nombreuses variantes du même exercice et donc d’un même sujet d’examen.

Étapes du processus QCM sous R avec le package R/exams pour un examen sur table :

1. Conception d’une base de données de questions.
2. Assemblage d’une sélection de questions en une ou plusieurs variantes d’un même sujet, export au format pdf. Un fichier pdf comprend une grille d’identification de l’étudiant et une grille de réponses. Un fichier pdf est obtenu par variante de sujet.
3. Impression papier des sujets.
4. Jour de l'examen sur table : distribution des sujets, les étudiants répondent au QCM en cochant des cases sur la grille de réponses.
5. Collecte des grilles de réponses par l'enseignant.
6. Scan des grilles (pdf) avec un scanner multi-pages.
7. Import du fichier des copies scannées dans R et lancement de la correction automatique et calcul du total des points par copie.
8. export des notes (xls/csv) et des copies corrigées (html).

Remarque : pas de “doutes” signalés par cet outil contrairement à d’autres outils tels que QCM Scan.

Pré-requis : pour utiliser le package R/exams efficacement, il est nécessaire d’avoir des connaissances de base en R.

Contexte de l'utilisation de l’outil

J’ai testé l’outil à l’ENSAIA en conditions réelles de 2022 à 2024 pour 17 sessions d’examen sur des cohortes allant de 5 étudiants à 150 étudiants.

Observations sur l’utilisation du point de vue de l’enseignant

La prise en main de l’outil à partir des ressources accessibles sur le web et notamment sur le site https://www.r-exams.org a nécessité un investissement important, raison pour laquelle j’ai décidé de créer une mallette d’accompagnement prenant en compte les problèmes majeurs que j’ai pu rencontrer. L’investissement a été important, mais je ne regrette pas.

Il faut prévoir du temps pour prendre en main l’outil, concevoir les exercices, les sujets. La correction peut prendre un peu plus de temps que prévu s’il y a des erreurs dans les fichiers (défaut de concordance entre le fichier contenant la liste des étudiants et le scan des copies). L’erreur la plus fréquente : les étudiants ne cochent pas les bonnes cases dans la grille d’identification de l’étudiant.

Aujourd’hui je l’utilise en routine pour plusieurs raisons :

• Je gagne du temps de correction
• Je limite de la triche en générant plusieurs variantes d’un même sujet
• Je peux augmenter la fréquence d’évaluation.

J’ai initié la dissémination de l’utilisation de l’outil très récemment (à l’ENSAIA et Institut Agro Dijon), je ne peux pas faire de retour sur l’utilisation par les collègues.

Observations sur l’expérimentation ou l’utilisation du point de vue de l’étudiant

• Acceptabilité de l’outil : les étudiants se sont très bien adaptés. Toutefois, je prends la précaution de leur présenter l’outil lors d’un aparté en CM en amont de l’examen pour éviter de les déstabiliser le jour de l’examen avec un format d’évaluation souvent inédit pour eux. 
• Utilisabilité : très facile à utiliser pour les étudiants. Attention toutefois à l’encodage du numéro étudiant dans la grille d’identification, les étudiants font souvent des erreurs de coche. Il peut être envisagé de vérifier manuellement que les étudiants n’en commettent pas avant de scanner les copies. Personnellement, je préfère corriger les erreurs dans R.

QCMscan / QCM papier (activité Moodle) / ZipGrade / AMC