Comment j’ai laissé les étudiants utiliser ChatGPT lors de leur évaluation

Je donnais encore cette année des cours de techniques rédactionnelles en L3 à Rouen (suis dispo pour le faire à Paris l’an prochain, au cas où vous cherchez un intervenant). Je donnais donc des cours de techniques rédactionnelles pour de futurs chargés de communication. Ils arriveront sur le marché du travail cet été, ou dans deux ans pour celles et ceux qui poursuivront avec un Master II. Donc, dans un monde du travail qui fera la part belle à l’intelligence artificielle. Comme ma responsabilité était de les faire progresser en rédaction, de leur « apprendre à écrire », impossible pour moi de faire comme si ChatGPT n’existait pas.

Leur expliquer comment ça marche, les limites actuelles, les possibilités à venir, c’est assez simple à mettre en oeuvre. Ils sont intéressés, comme nous le sommes tous naturellement par quelque chose qui pourrait nous simplifier la vie, améliorer notre productivité voire la qualité de notre travail.

La question que j’ai longtemps tourné et retourné dans ma petite tête d’enseignant : comment vais-je évaluer leurs capacités rédactionnelles ? Et leurs capacités à utiliser ChatGPT intelligemment ? J’aurais pu les obliger à travailler à la main, sans connexion, mais était-ce vraiment la meilleure façon de les préparer à la vie professionnelle ? Je n’en étais pas persuadé. C’était les mettre face à leurs limites alors qu’il savent déjà qu’il existe des solutions pour les dépasser.

Les années précédentes, l’évaluation était simple. Je donnais un dossier de presse que j’avais choisi relativement récent, puis je demandait un article pour un magazine municipal ou un site web. Je corrigeais. Et hop. En 2023, j’ai testé la correction par ChatGPT, qui m’a semblé assez efficace. J’avais raconté l’expérience ici.

Cette année, j’ai à nouveau distribué un dossier de presse et demandé trois articles, pour des supports et des publics différents. Et j’ai autorisé l’usage de ChatGPT. Avec une condition : que j’ai accès à la discussion entre l’étudiant et le GPT. En clair, que chacun me partage le lien qui me donne la possibilité de lire son dialogue avec ChatGPT. L’objectif était de voir comment les étudiants avaient utilisé l’IA pour améliorer leur texte.

Evidemment, je leur ai précisé que le résultat qu’ils devaient obtenir devait impérativement être meilleur que s’il n’avaient pas utilisé l’IA.

Quels enseignements est-ce que je tire de cette expérience ? D’abord, que les résultats obtenus par les étudiants de cette année, avec ChatGPT sont meilleurs que ceux obtenus sans ChatGPT l’an passé. Les étudiants écrivent mieux. La qualité augmente. C’est plutôt une bonne nouvelle.

Ce qui m’intéresse ensuite ce sont les stratégies mises en oeuvre par les étudiants. Il y a trois grandes catégories :

• Ceux qui demandent à ChatGPT d’écrire un premier jet, puis qui le reprennent. Ce ne sont pas les plus nombreux, et ce n’est pas la méthode la plus efficace.
• Ceux qui écrivent un premier jet et le font corriger par ChatGPT, en précisant le canal, les cibles, voire les objectifs de l’article. Le résultat final est très intéressant.
• Ceux qui demande un plan à ChatGPT, puis écrivent plus ou moins seuls, puis font corriger par ChatGPT, puis corrigent ChatGPT : un véritable dialogue s’instaure. Cela oblige à penser à ce que l’on fait, aux raisons pour lesquelles on fait des choix, et le résultat peut être vraiment intéressant.

Les étudiants ont été amené à réfléchir à ce qu’ils entreprenaient, à trouver les mots pour le faire comprendre à l’IA, à valider les propositions qui leur étaient faites. Selon qu’ils avaient plus ou moins intégré les règles d’une écriture professionnelle claire et efficace, ils obtenaient évidemment des résultats différents.

Un des étudiant m’a transmis avec sa copie la correction que ChatGPT en avait fait à sa demande. ChatGPT lui avait mis 18. J’ai mis 17. C’était la meilleure copie. Mais 18, tout de même : j’ai soupçonné ChatGPT d’être en conflit d’intérêt…