Notre projet a pour premier objectif de constituer un cadre idéal de préparation de mémoires d’ingénieurs, de mémoires de magisters et de thèses de doctorat. Dans cet objectif de formation les étudiants travailleront sur le développement d’outils auteurs d’aide à l’évaluation de l’apprenant dans le cadre de l’utilisation de sites Web éducatifs.

En effet, nous nous intéressons aux moyens et modes d’évaluation de l’apprenant dans le cadre de l’utilisation d’Internet/Intranet ou plus généralement d’hypermédias éducatifs.

Dans un hypermédia éducatif, comment vérifier si l’utilisateur a compris ce qui lui est enseigné? Comment le programme peut-il s’adapter à l’utilisateur, en fonction du niveau de compréhension de ce dernier ? Comment donner un feed-back à l’utilisateur sur ce qu’il a réellement compris et ce qu’il croit avoir compris ?

L’utilisation des systèmes hypermédias éducatifs pose de nombreux problèmes relatifs aux difficultés qu’ont les utilisateurs à naviguer dans ces systèmes de façon efficace et sûre, pour atteindre leurs objectifs d’apprentissage. Pour répondre à ce besoin, nous souhaitons aborder les problèmes de conception et mise en place de systèmes hypermédias adaptés aux caractéristiques des utilisateurs. Le parcours de ces derniers doit alors être ajusté par une génération dynamique hyper-liens, fondée sur la prise en compte des préférences, des connaissances et de stéréotypes d’utilisateurs. Ainsi, les caractéristiques des utilisateurs constituent leur profil, exploité pour une présentation de contenus appropriés.

L’évaluation de l’apprenant n’étant pas une fin en soi dans ce sujet, il faut aussi permettre à l’apprenant de se situer dans toutes les connaissances qui lui sont enseignées et, à plus long terme, donner les moyens au tuteur (« compagnon logiciel » ou « tuteur humain ») de s’adapter aux difficultés ou facilités de l’apprenant.

Cette recherche se situe dans le domaine des EIAH (Environnements Informatiques pour l’Apprentissage Humain). Elle pourra également s’inspirer d’autres champs de recherche : multimédia et conception web,  représentation des connaissances, systèmes multi-agents, ergonomie du logiciel, sciences de l’éducation...

Le deuxième objectif de ce projet est de réaliser un système informatique permettant, dans une certaine mesure, d’ « entrevoir ce que l’apprenant a compris », et d’évaluer ses connaissances et ses compétences, dans le but de mieux adapter les interfaces et les contenus à cet utilisateur.

Les technologies multimédia permettent de nos jours d’intégrer, à l’intérieur même d’un site web de formation, l’utilisation de simulations, ainsi que divers aspects ludiques, visant à faire agir et réagir l’apprenant. Ces simulations et ces jeux pourront contribuer à l’évaluation des connaissances et compétences de l’apprenant.

Nous nous efforcerons de prendre en compte l’intérêt de l’utilisateur (cerner ses objectifs et ses intentions), et de tenter d’évaluer l’apprenant à l’aide du logiciel (au travers de quiz, QCM avec indice d’estime de soi pour l’évaluation de la confiance et de la motivation de l’apprenant, jeux interactifs, étude du parcours de l’utilisateur et des demandes d’aides…), dans le but de pouvoir adapter les interfaces et les contenus à chaque étudiant.

L’étude et la prise en compte du parcours des utilisateurs sont un préalable à toute tentative pour proposer des fonctionnalités d’ajustement de l’environnement informationnel, en terme d’interface, de sélection et de présentation des contenus.

La conception et la mise en place d’un tel système nécessitent donc une définition des modèles comportementaux d’utilisateurs, et une identification des classes d’utilisateurs, ainsi que des déviations comportementales par rapport à un scénario type.

Nous pensons nous tourner vers les Systèmes multi-Agents pour la réalisation de compagnons virtuels qui aideront l’apprenant, le guideront et contribueront à son évaluation. Cette partie est décrite à la fin du chapitre suivant (« Méthodologie de Travail », dernière partie ‘Compagnons virtuels et Systèmes multi-agents’).

Mots clés...

Hypermédias Educatifs, Evaluation, IHM Multimédia, EIAO, Multi-Agents

Méthodologie...

Dans une première étape, nous devrons tout d’abord dresser un état de l’art et une analyse bibliographique poussée sur les sujets proches de notre projet. Puis nous proposerons une architecture informatique permettant la mise en œuvre de ce projet, et réaliserons le développement informatique nécessaire. Cette phase de développement sera intégrée à la phase d’évaluation, car nous utiliserons une méthode de ‘boucle de conception/évaluation’ (développement ‘en spirale’), permettant, à tout moment de l’état d’avancement du logiciel,  d’évaluer la réalisation et de modifier le logiciel en fonction des résultats détectés

 Lors de la première étape d’analyse, nous aborderons les points suivants :

•  Etude du parcours de l’utilisateur et diagnostic du comportement de l’apprenant.

• Notion de Curriculum.

•  Stratégies et choix d’enseignement.

• Compagnons virtuels et Systèmes multi-agents.

Diagnostic du comportement :

Dans un tel projet, il est important d’analyser le comportement de l’apprenant durant la résolution d’un problème, afin de pouvoir en dégager un diagnostic.

• Le diagnostic comportemental  qui étudie le comportement de l’apprenant dans l’utilisation du logiciel (identifier des comportements critiques et les transmettre à l’apprenant).

•  Le diagnostic cognitif qui permet d’identifier les connaissances des apprenants.

Curriculum

Nous devrons, durant la première phase d’analyse, étudier également le concept de « curriculum », qui est une représentation structurée des différents types de connaissances associées à un cours. L’utilité du curriculum est d’avoir une structuration hiérarchique des différents enseignements. Cette représentation peut aussi bien être utile à l’enseignant qu’à l’apprenant. L’idée du curriculum est de permettre à l’étudiant de savoir à tout moment où il en est dans son apprentissage, mais également de savoir quelle « piste » il doit suivre pour atteindre une connaissance bien précise.

Dans un projet ayant pour sujet « Visual Manipulation for Development of Curriculum », Guo, Kaltenbach, Frasson et Gecsei ont décrit un modèle dans lequel la connaissance du domaine (par un apprenant) est représentée par des capacités définies sur la base de la théorie de Gagné. Un curriculum est constitué de deux composants principaux :

• Les nœuds de compétence ou capacité (« capability »), qui représentent l’état des connaissances, correspondent aux différents niveaux d’apprentissage pouvant être atteints.

• Les nœuds de compétence correspondent à une connaissance associée à un sujet donné. Ils sont organisés par niveau, l’enseignement ou l’apprentissage d’une compétence se faisant de façon graduelle. 

• Les nœuds de transition, qui représente les activités d’apprentissage, correspondent à la description, la structuration de l’apprentissage.

• Les nœuds de transition fournissent le moyen d’arriver à un état de connaissance (défini par le nœud de compétence associé). Un tel nœud contient des informations dynamiques sous la forme de procédures. Il est également représenté en différents niveaux d’activités

Choix d’enseignements

Afin de permettre une adaptation dynamique du système à l’évolution de l’apprenant, il est nécessaire que le logiciel puisse choisir sa stratégie d’enseignement.

Les stratégies coopératives vont favoriser l’interaction de l’apprenant avec un élément additionnel du système. Cet élément est très souvent assimilé à un personnage virtuel qui accompagnera l‘apprenant tout au long de son apprentissage. Il y a différents types de personnage, et le choix du type de personnage qui accompagnera l’apprenant peut être un choix stratégique. Ces différentes stratégies sont :

• Tutor-Tutee : il y a deux intervenants, le professeur (le système) et l’apprenant (l’utilisateur)

•  Learning Companion : un compagnon amical qui assistera l’apprenant, il est là pour le guider. Ce genre de compagnon peut être un élément ludique comme on peut en rencontrer de plus en plus dans certains logiciels comme Word. Ce compagnon vous donne des conseils.

•  Learning by Disturbing : un compagnon un peu turbulent, qui dérange l’apprenant par des apparitions inattendues ou des faux conseils. Le problème avec ce genre de compagnon est que l’apprenant peu être désorienté. Mais les aspects positifs sont que le système peut évaluer l’apprenant suivant son attitude vis à vis de ce compagnon. A partir de ces constatations le système peut adapter faire évoluer ce compagnon (modification de la fréquence d’apparition, réduction des bons ou mauvais conseils, etc..)

•  Learning by Teaching : tout comme la stratégie « Learning companion », l’apprenant côtoie un compagnon, mais il est chargé de lui apprendre certains principes du cours qu’il vient de suivre ; l’apprenant prend le rôle de professeur. Cette stratégie permet à l’apprenant de remettre en question ce qu’il vient de comprendre, et peut facilement se rendre compte de ses difficultés concernant le sujet.

•  Learning with Co-teacher : comme le nom l’indique, le système n’est pas le seul à enseigner, il est assisté d’un personnage virtuel.

 Les stratégies directes d’enseignement concernent quant à elles la méthode utilisée pour enseigner, comment les informations seront présentées : enseignement par l’exemple, discours narratifs (histoires, conte, …), méthodes ludiques (sous formes de jeux, …), analogie, déduction, etc...

Etant données les différentes possibilités offertes par les deux types de stratégie, il serait intéressant qu’un système intégrant ces méthodes soit capable, suivant le comportement de l’apprenant, de passer d’une méthode d’enseignement à une autre, d’un compagnon à un autre.

Compagnons virtuels et Systèmes multi-agents :

Une idée de recherche pourrait être de tenter de confondre la technique d’enseignement avec le critère d’évaluation : au vu de la technique d’enseignement choisie et des réactions de l’élève face à cet enseignement, essayer d’en déduire un état cognitif  et émotionnel de l’apprenant.

On pourrait alors se concentrer sur les personnages virtuels (ou compagnons) qui assistent ou perturbent l’élève. Ces personnages devraient accompagner l’apprenant dans chaque étape de son enseignement ; pendant le cours, les exercices et les évaluations (QCM avec « indice d’estime de soi », « indice de motivation » et « indice de confiance »). Ce compagnon pourrait être un camarade de jeu après quelque temps passé dans l’apprentissage. L’apprenant s’amuserait tout en permettant au système d’évaluer ce qu’il a appris. Le compagnon serait alors plus qu’un « camarade de classe », car il serait un « observateur » (espion ?) qui évaluerait sans cesse l’apprenant.

A ce sujet, nous avons tenté une première expérience. Il s’agit d’un jeu d’aventure (jeu de rôle ou jeu dont vous êtes le héros), qui teste les connaissances de l’apprenant dans le cadre d’un enseignement du cours d’algorithmique. Pour franchir diverses étapes, l’utilisateur a besoin d’une certaine énergie de points. Ces points sont récoltés en fonction des réponses fournies à des questions portant sur le cours.

En plus de l’intégration de ce compagnon dans toutes les étapes de l’apprentissage, on pourrait reprendre le principe de consultation du curriculum. Lors de cette consultation l’apprenant pourrait connaître l’évaluation présumée de ses connaissances, et ainsi accepter ou contredire le niveau cognitif que lui a attribué le système. Il semble souhaitable d’essayer d’utiliser des techniques de multi-agent pour réaliser de tels travaux.