EduAnalytics : peut-on utiliser l’intelligence artificielle pour mieux évaluer les travaux académiques ?

Le problème : un LLM peut être convaincant sans être nécessairement fiable

Les grands modèles de langage, ou LLM, sont particulièrement efficaces pour produire des réponses fluides et structurées. Cette qualité peut cependant devenir un piège. Une réponse bien écrite n’est pas nécessairement une réponse juste.

Dans le cadre d’une évaluation académique, le modèle peut interpréter incorrectement un passage, omettre un critère, invoquer une référence inexistante ou attribuer un score malgré l’absence d’éléments suffisants.

Sur quelles preuves cette appréciation repose-t-elle, et comment vérifier que ces preuves sont réellement présentes dans le document ?

Ne pas demander directement au modèle de « noter le document »

L’approche la plus simple serait : Document → Intelligence artificielle → Note. C’est aussi, à mon sens, l’approche la plus fragile.

EduAnalytics repose au contraire sur une chaîne plus structurée : Document → extraction → analyse → preuves → référentiel → LLM → contrôle → validation humaine.

Avant que le modèle ne produise une appréciation, le système cherche d’abord à déterminer ce que contient objectivement le document et identifie les passages susceptibles de constituer des preuves.

Un référentiel adapté au type de travail

Tous les documents académiques ne sont pas de même nature. Un mémoire de recherche empirique ne doit pas être évalué exactement comme une revue de littérature ou une étude de cas. EduAnalytics repose donc sur un référentiel adaptatif.

Le socle commun examine notamment la clarté des objectifs, la structure et la cohérence, la maîtrise conceptuelle, la rigueur méthodologique, la qualité des preuves et de l’argumentation, la pensée critique et la qualité académique générale.

L’Evidence Engine : placer la preuve avant le jugement

L’un des éléments centraux du projet est l’Evidence Engine. Son rôle : rechercher, pour chaque critère, les passages pertinents du document avant l’intervention du LLM.

Que dit réellement le document ? Puis : Que peut-on raisonnablement en conclure ?

Cette séparation entre constat et jugement rend le raisonnement beaucoup plus vérifiable.

Grounding V1 : empêcher les références inventées

Le modèle pouvait recevoir une référence exacte à un passage, puis la reformuler légèrement dans sa réponse. Cela a conduit à introduire Grounding V1.

Une référence utilisée par le LLM doit appartenir exactement à l’ensemble des références autorisées pour le critère évalué.

Si le modèle invoque une référence inexistante ou non autorisée, l’évaluation est considérée comme invalide.

Quand il n’y a pas assez de preuve, le système doit pouvoir s’abstenir

EduAnalytics distingue assessable, lorsque les éléments permettent une appréciation ; uncertain, lorsqu’ils restent insuffisamment concluants ; et not assessable, lorsque le critère ne peut pas raisonnablement être évalué.

L’absence de preuve n’est pas nécessairement la preuve d’un mauvais travail.

Epistemic V2 : empêcher un score sans justification suffisante

Une combinaison telle que aucune preuve + document évalué + score de 4/5 est considérée comme incohérente. Si aucune preuve suffisante n’est disponible, le système doit déclarer le critère non évaluable plutôt que produire artificiellement une note.

Réparer les erreurs, sans contourner les contrôles

Les modèles génératifs restent probabilistes. EduAnalytics met donc en œuvre des mécanismes de récupération limités pour compléter un critère manquant ou corriger une référence. Mais une règle demeure : la récupération ne doit jamais contourner les contrôles. Toute sortie réparée est à nouveau validée.

Des essais sur des documents académiques longs

Deux expérimentations end-to-end importantes ont été conduites sur des rapports académiques de respectivement 50 pages et 70 pages. Le système a extrait les contenus, identifié le profil académique, appliqué un référentiel, sélectionné les preuves, sollicité le LLM, contrôlé les références, vérifié la cohérence épistémique, enregistré les résultats et produit des rapports.

De l’expérimentation locale au cloud

EduAnalytics a ensuite été repensé sous la forme d’une architecture cloud-native reposant notamment sur Python, FastAPI, PostgreSQL, SQLAlchemy, Alembic, Docker, GitHub et Render.

L’accès au LLM passe par une couche d’abstraction afin de ne pas dépendre définitivement d’un fournisseur unique et de pouvoir envisager des modèles locaux ou des infrastructures souveraines lorsque la confidentialité l’exige.

Au terme de cette phase, la suite de validation technique comptait 343 tests automatisés réussis et le projet avait atteint un premier déploiement cloud opérationnel. Cela ne signifie pas que le système est prêt à être généralisé dans une université : il dispose désormais d’un socle technique pour entrer dans la phase de validation scientifique.

Ce que montre la littérature internationale

EduAnalytics s’inscrit dans le domaine de l’Automated Essay Scoring (AES). Les LLM ont profondément renouvelé ce champ. Des recherches récentes montrent des niveaux parfois intéressants de concordance avec les correcteurs humains, mais les performances dépendent fortement du modèle, du prompt, du référentiel, du type de document et du critère examiné.

Les travaux de Pack, Barrett et Escalante, Lee et ses collègues, Tang et ses collègues, Mansour et ses collègues, ainsi que les recherches sur le paradigme LLM-as-a-Judge, rappellent une exigence centrale : lorsqu’un modèle devient juge, il faut également pouvoir évaluer le juge lui-même.

L’humain doit rester dans la boucle

L’intelligence artificielle peut aider à évaluer. Elle ne doit pas, dans l’état actuel de la technologie, devenir seule responsable de la décision académique finale.

L’enseignant ou le jury doit pouvoir consulter le critère évalué, la justification proposée, les passages utilisés comme preuves, les incertitudes et les contrôles effectués. L’IA devient un instrument d’aide à la décision, non une autorité académique.

L’UNESCO recommande une utilisation de l’IA générative en éducation centrée sur l’humain, la protection des données et la responsabilité. Consulter le guide UNESCO ↗ Le règlement européen sur l’intelligence artificielle accorde lui aussi une attention particulière à certains usages de l’IA dans l’éducation lorsque ceux-ci peuvent influencer significativement le parcours d’une personne. Consulter le règlement européen ↗

Vers une « évaluation augmentée »

Je préfère parler d’évaluation augmentée : la machine analyse, structure, propose et justifie ; mais l’humain vérifie et décide.

L’objectif est de permettre à l’humain de consacrer davantage de temps à l’interprétation, la contextualisation, le jugement pédagogique et la décision.

La prochaine étape : confronter EduAnalytics aux évaluateurs humains

La réussite technique n’est qu’une première étape. Il faut maintenant déterminer si EduAnalytics améliore réellement la qualité, la cohérence ou la traçabilité de l’évaluation.

Le benchmark devra comparer : évaluation humaine seule ; LLM utilisé directement ; LLM avec référentiel ; EduAnalytics complet.

Les métriques pourront porter sur l’accord entre correcteurs, l’accord humain–EduAnalytics, les écarts de scores, la stabilité entre exécutions, le taux d’abstention, le taux de références invalides, le temps gagné et la qualité perçue des commentaires. Une étude d’ablation mesurera aussi la contribution propre de l’Evidence Engine, du Grounding et du contrôle épistémique.

Ce que ce projet m’a surtout appris

La question initiale — comment utiliser un LLM pour analyser et évaluer un document académique ? — est devenue plus exigeante :

Comment construire autour d’un modèle probabiliste une architecture suffisamment rigoureuse pour que ses conclusions puissent être vérifiées, contestées et éventuellement corrigées ?

Cette interrogation dépasse l’éducation. Il ne suffit plus de construire des IA capables de répondre. Il faut aussi construire des systèmes capables de répondre à une autre question :

« Pourquoi devrais-je vous croire ? »

C’est probablement là que se situe le véritable enjeu d’EduAnalytics.