MOODLE ACTIVITÉ TEST

1- Paramétrer le test : une fois l’activité « Test » ajoutée, les paramètres s’affichent

• Dans le cas d’une auto-évaluation formative, la plupart des paramètres par défaut (accès libre et illimité, nombre de tentatives autorisées illimitées, méthode de navigation libre, mélanger les éléments des questions, options de relecture après la tentative…) sont suffisants et adaptés pour optimiser l’entraînement de l’étudiant et l’informer de sa progression. Il peut être interessant de sélectionner “feedbacks immédiats après chaque question” pour que l’étudiant ait la possibilité de se corriger et de tenter à nouveau de répondre.

• Pour un test de positionnement, il est possible de n’autoriser qu’une seule tentative et fournir un feedback aux différentes questions à la fin du test. Ceci permet à l’étudiant de faire une analyse à chaud de ses erreurs et à l’enseignant d’individualiser le parcours de formation en l’affectant par exemple à un groupe. 

• Pour une évaluation certificative, Il est important d’ajouter les consignes de l’activité dans l’encart “description”. Les réglages suivants peuvent être pertinents : ouvrir le test sur le créneau de l’examen, limiter le nombre de tentatives à une seule, définir la note minimale de réussite et une navigation séquentielle, les feedbacks à posteriori et option de relecture après la fermeture du test. Selectionner “mélanger les éléments de question” permet de proposer un ordre aléatoire des réponses à chaque question pour deux étudiants placés à côté. Dans ce contexte d’évaluation, il est opportun d’ajouter des restrictions d’accès, notamment « restriction profil utilisateur » pour un test en distanciel

2- Construire le test : Il existe différentes façons d’ajouter des questions à un test

• Vous pouvez créer une nouvelle question dans le test en la sélectionnant parmi une grande variété de types de question : questions à choix multiples, vrai/faux, appariement, réponse courte, numérique, calculée... La question Cloze permet de créer des textes à trous dans lesquels les réponses sont intégrées ; elle est particulièrement intéressante car elle propose un exercice complet mais nécessite d’utiliser un code pour rédiger la question.

• Il est possible également d’ajouter des questions à partir de la banque de questions. L’activité « Test » offre la possibilité de catégoriser et hiérarchiser les questions pour faciliter la création de tests ultérieurs et notamment en mode aléatoire ; cette fonctionnalité permet d’utiliser le test comme générateur d’exercices en sélectionnant de manière aléatoire des questions dans les différents chapitres constituant une leçon.

• Il est possible d’utiliser un outil permettant de générer un grand nombre de questions importables dans Moodle au format Gift à partir d’un tableur (macro optimisée pour Excel sur Windows … pour MacOS, Linux, open office/libre office etc). Cet outil gère les QCM (Questionnaire à Choix Multiples), QCU (Questionnaire à Choix Unique), Vrai-Faux, Appariement et permet de catégoriser les questions. Plus d’informations  : https://sup-ubs.fr/documentation/utiliser-excel-pour-simplifier-et-massifier-la-creation-de-questions-dans-lactivite-test-de-moodle/

3- Utiliser l’activité « Test »

La correction des questions est automatique ; seule la question composition est à correction manuelle car elle prend en compte une partie rédactionnelle. Chaque tentative de réponse est évaluée automatiquement si le test contient des questions à correction automatique. Lorsque plusieurs tentatives sont autorisées, différents critères peuvent être pris en compte pour attribuer la note finale au test (note la plus haute, moyenne, première ou dernière tentative). Si le test est bâti avec des questions aléatoires, l’étudiant reçoit une nouvelle version du test à chaque tentative. Il est possible de rentrer dans le test et d’accéder aux rapports en cliquant sur « Tentatives » ; le rapport montre la note globale et la note pour chaque question. Chaque note est consignée et peut être consultée dans le carnet de notes du cours. Les notes sont consultables immédiatement et exportables.

4- Voir les résultats du test:

Dans l’onglet “Résultats” du Test, l’enseignant consulte et s’il le souhaite télécharge les notes, les réponses des étudiants (par question) et enfin des statistiques. Ces analyses permettent d’obtenir une vue d’ensemble de la performance des étudiants, de l'efficacité des questions posées, et des ajustements possibles pour améliorer l’évaluation dans le futur.

Les statistiques proposées pour analyser les résultats d'un test incluent généralement les éléments suivants : Note moyenne, Ecart types, Distribution des notes, Analyse question par question, Indice de discrimination, Temps moyen passé par question.

Utilisation particulière avec l'IAG

Contexte de l'utilisation de l’outil

Lieu : Oniris VetAgroBio

Domaine d’enseignement : Génie des procédés alimentaires

Cursus et niveau d’études des étudiants : ING1

Nombre d’étudiants concernés : 100

Intention pédagogique : évaluation formative, organisée à la suite du cours magistral et avant l'évaluation sommative. Les questions portent sur les connaissances de cours et visent à amener l'étudiant à une compréhension globale et problématisée du sujet, afin de vérifier l’assimilation des concepts nécessaires à la réalisation des exercices de l’évaluation sommative (exercices de réflexion et calculs de dimensionnement d’équipements).

Description de l’utilisation : La création des questions a été réalisée avec l’aide d’un outil d’IA générative (agent conversationnel), dans le cadre de l’expérimentation Hercule ChatGPT Team. L’outil a également été utilisée pour générer des feedbacks associés à chaque réponse. 

Après vérification et ajustement des questions générées, il a été demandé que la banque de questions soit mise au format GIFT, afin d’être importée dans Moodle. Le code peut alors être copié et sauvegardé dans un fichier texte comme TextEdit sur Mac ou Bloc-Notes/Notepad sous Windows avant de pouvoir importer les questions dans Moodle. Les questions ont ensuite été intégrées à la banque de questions Moodle et exploitées dans une activité test conçue spécifiquement pour cette évaluation formative.

L’évaluation formative a été mise à disposition des étudiants en asynchrone. Les étudiants ont été informés en fin de travaux dirigés de la mise à disposition du test, avec un rappel par mail afin de les encourager à s’entrainer.

Observations sur l’utilisation du point de vue de l’enseignant

Outil Activité Test Moodle

• Acceptabilité de l’outil : La réalisation de l’activité Test avec Moodle permet de rester dans un cadre homogène et de maintenir une uniformité entre les différents supports (cours et informations relatives aux TD sur la plateforme de formation de l’école). L’outil convient particulièrement à la création de questions liées à un cours magistral, afin d’aider les étudiants à revoir des concepts généraux. 
• Utilisabilité : Le paramétrage du test n’est pas intuitif lors des premières utilisations et nécessite une phase d’exploration. Une utilisation régulière favorise cependant la prise en main et le maintien d’une certaine aisance d’usage.
• Utilité : L’outil permet de constituer une large banque de questions, facilitant la variation des propositions d’une année sur l’autre auprès des étudiants. Le format QCM reste toutefois moins adapté dans un cursus ingénieur, les évaluations portant davantage sur la mobilisation de compétences que la restitution de connaissances. L’outil offre une visualisation rapide des tentatives et un suivi statistique des résultats, même si l’interface reste perfectible.

Génération de questions avec l’IAg (agent conversationnel)

• Acceptabilité de l’outil : Les réponses générées sont complètement adaptées et satisfaisantes, en fonction de la qualité du prompt.
• Utilisabilité : L’utilisation de l’outil IA générative (agent conversationnel) est très facile à partir du moment où l’on a les bases du prompt. Un cadrage clair et adapté des attentes permet d’obtenir des résultats pertinents et exploitables. Il est possible de fournir les supports de cours pour optimiser le contenu généré.
• Utilité : L’outil aide à formaliser rapidement un grand volume de questions., tout en facilitant l'importation dans Moodle (possibilité de demander un format GIFT). Une relecture attentive est nécessaire après l’importation dans Moodle pour vérifier la cohérence et la bonne intégration des questions. Cette étape est aussi l’occasion de paramétrer individuellement chaque question. L’IA générative constitue un gain de temps pour la création de questions générales sur un thème précis : les propositions sont rapides à obtenir, même si un tri des questions générées reste nécessaire pour garantir la qualité finale du contenu.

Il n’existe pas réellement d’alternative à l’activité test Moodle pour un usage dans un contexte d’évaluation certificative en ligne. Les outils AMC et QCM scan peuvent être utilisés dans un contexte d’évaluation certificative ; ils proposent une correction automatique d’évaluation sous la forme de QCM papier et sont l’équivalent de l’activité Offline Test Moodle.

Il existe des alternatives payantes à Test Moodle dans le contexte d’évaluations diagnostiques et formatives :

Kahoot : outil d’apprentissage ludique en ligne, quiz en synchrone

Wooclap : , plateforme participative en ligne offrant de nombreuses fonctionnalités (nombreux types de question, accès à des rapports d’analyse détaillés...), quiz synchrone et asynchrone

Vevox : plateforme participative en ligne permettant de créer des sondages, enquête et offrant un espace de questions-réponses, quiz en synchrone et asynchrone

Wooflash : plateforme de révision en ligne, quiz en asyncrhone