Comment évaluer les apprentissages dans un environnement multimédia exemple le cédérom ?

Dés que l'on envisage une évaluation pour le document électronique didactisé on se retrouve confronté à la fois à un nombre de variables disponibles très élevé et un ensemble de mesures qui partent dans tous les sens. Il est possible d'opérer certains choix comme ceux que nous allons présenter en nous appuyant sur des références connues et moins connues.
Pouvoir utiliser et apprendre à l'aide d'un cédérom relève selon Nielsen de son potentiel " d'utilisabilité " (Nielsen, 93) c'est à dire en premier lieu du niveau de son " utilisation " calculée à l'aide de cinq variables : l'efficience (estimation du temps opportun pour atteindre son but), l'apprenabilité(facilité ou rapidité avec laquelle l'utilisateur apprend à utiliser le système), la mémorisation (par l'utilisateur du " comment çà marche " et de " ce qu'il fait "), la fiabilité (prévention ou gestion des erreurs par le système) et la satisfaction de l'utilisateur, et en second lieu sur la " possibilité d'apprendre " qu'il suscite (Tricot et Lafontaine; op. cit.). Ces deux niveaux sont mesurés aussi bien en termes absolus que relatifs dans une littérature abondante d'obédience largement anglo-saxone.
Nous ne nous attarderons pas sur l'évaluation des tâches qui peuvent se répertorier du plus simple au plus compliqué avec les tâches de reconnaissance (utilisées en complément),
de rappel de contenu (qu'est-ce que l'apprenant a retenu et rentabiliser), de rappel de la structure (très abondantes au début du multimédia),les questionnaires fermés ou ouverts (très communs pour le multimédia), les tâches de résolution de problème (encore peu nombreuses dans le multimédia bien que les problèmes d'ordre procédural soient les tâches qui répondent le mieux), les tâches de détection d'erreurs (par exemple on présente du matériel contenant à priori des erreurs), enfin les tâches de production (pas très répandues non plus). En définitive, excepté pour l'évaluation du rappel de la structure, on retrouve ici les mêmes démarches connues pour les évaluations d'apprentissage classiques.
Ainsi dans le rapide rappel que nous venons d'effectuer, nous comprenons la notion "d'utilisabilité " de Nielsen comme étant la prise en compte de la somme de cinq variables d'utilisation associés au potentiel cognitif mis en œuvre par " la possibilité d'apprendre " vérifiable par les tâches précédemment citées. Ceci demeure la partie immergée de l'iceberg, dans le sens où l'évaluation perçue et constituée en opérations visibles n'est que le résultat de différentes stratégies et styles forcément individuels inhérents à l'apprenant et dynamisées par lui lors de son interaction avec le produit, c'est à dire lors de sa phase d'utilisation pratique.

Quand l'humain rencontre le technique

L'humain rencontre en partie le technique au travers des différents styles cognitifs et réceptifs, la capacité d'apprendre se déterminant majoritairement lors des modalités de la transmission didactique.
En matière d'enseignement multimédiatisé des langues les résultats enregistrés sont loin d'être homogènes. Cela n'est pas surprenant car à autant de " personnalités d'apprenants " donc humaines se trouvent confrontées autant de variables et diversités technologiques.
Un des avantages de l'environnement multimédia pour l'apprentissage des langues se définit par sa capacité d'intégration ipso facto des quatre modes communicatifs (écoute, production orale, lecture, production écrite) sollicités durant l'apprentissage. De même que le design didactique tel qu'il est privilégié pour ce domaine en ce début du 21eme siècle continue d'allier l'approche communicative et l'approche fonctionnelle centrée sur l'apprenant. Il se trouve toujours au cœur d'une situation pédagogique caractérisée par des relations diverses: apprenant/ordinateur ou apprenant/enseignant/ordinateur, voire apprenant /enseignant /tuteur/ ordinateur pour lesquelles le binôme apprenant/ordinateur sert de dénominateur commun. C'est pourquoi, il n'est pas possible de dissocier l'apprenant de l'ordinateur au travers de leur relation interactive quasi exclusive et de type bijectif. En EAO et ELAO, la notion d'interaction a donné lieu à de multiples publications bien qu'ici nous référerions à une définition très simple, celle de Richards (Richards et al ;1992) telle qu'elle figure dans le dictionnaire Longman traduite de l'anglais par L.Meunier (Meunier ;2000) le terme interactif décrit la compétence des apprenants à " communiquer " ou à " entrer en interaction " avec l'ordinateur. Les leçons en enseignement des langues assisté par ordinateur peuvent comporter une question posée par l'ordinateur, une réponse donnée par les étudiants et une évaluation fournie par l'ordinateur sur l'exactitude de la réponse, c'est dans ce sens que de telles activités sont dites " interactives ".
L'interaction hic et nunc constitue une des premières valeurs ajoutées (Koulayan ;1998) de l'enseignement assisté par ordinateur. Cependant, ce " plus " qualitatif, impose des limites qui recouvrent celles de l'intelligence artificielle dont la plus singulière reste l'impossibilité pour le logiciel de prévoir, d'activer, contrôler, développer et évaluer l'ensemble des stratégies cognitives mises en œuvre par l'utilisateur dans la résolution des problèmes générés par l'opération " apprendre ". Le logiciel se limitant à enregistrer la réponse finale (comme par exemple dans les exercices à trous ou les questionnaires fermés) sans la possibilité de laisser les traces de tentatives ou de brouillons.
On a beaucoup écrit sur la typologie des logiciels éducatifs (Lancien,1997 ;Wyatt,1997). Ceux pour l'enseignement des langues ne se distinguent pas des autres sauf qu'ils se divisent en trois grandes catégories : les logiciels d'exploration centrés sur la simulation/mise en situation virtuelle, les logiciels de référence largement axés sur la proposition d'outils d'aide à l'apprentissage tels que le corpus de texte, le contrôle de l'orthographe, la grammaire, le dictionnaire, la traduction, les banques de ressources textuelles etc. enfin les logiciels de structure qui comprennent les méthodes d'apprentissage, proposant des exercices généralement structuraux, des situations se voulant authentiques avec les incrustations vidéo)(Wyatt, op. cit.) etc. Déjà des limites apparaissent implicitement dans ces trois ensembles qui s'exercent sur autant de modèles cognitifs, en effet on passe du contrôle rigide du " savoir à apprendre " au pré-déterminé (logiciel de structure) puis à la semi liberté (logiciel de référence) jusqu'au butinage culturo-linguistique complet (logiciel d'exploration) improvisé par l'utilisateur. Au niveau de l'interactivité ces limites sont plus explicites, dans ces méthodes l'ersatz de dialogue des personnages pêche par son vide social et le dialogue homme-machine renvoie irrémadiablement l'apprenant à une solitude qui lui est didactiquement préjudiciable car on sait depuis longtemps qu'apprendre une langue en groupe est très stimulant du point de vue cognitif et psychologique. Vient aussi s'ajouter la rigidité structurelle des logiciels qui puise souvent dans la répétition, la monotonie et le manque d'originalité qui ont tôt fait d'user la motivation et la patience de la plupart des apprenants.
Dans la production de logiciel pour apprendre une langue étrangère Plass (1998) identifie quatre approches de conception qu'il préconise comme "valables" pour toute évaluation de logiciel :l'approche artisanale, sur la base d'une conceptualisation recherchée, "technologiste" et enfin "cognitique". Ces conceptions ne résolvent pas le gros problème de l'absence d'adéquation entre le style cognitif personnel de l'apprenant et le type de logiciel avec lequel il va travailler, or nous pensons que la prise en compte de ce paramètre s'avère primordial dans le cadre de l'interaction apprenant/ordinateur puisque la situation d'apprentissage reste souvent celle de l'autodidaxie complète ou partielle. C'est justement sur ce point qu'aucune validité écologique n'est encore constituée, en dehors du travail général toujours en cours sur " la compatibilité interactive entre l'intelligence humaine et l'intelligence artificielle ".
D'ailleurs, L.Meunier (2000) continue d'explorer cette question avec comme postulat au préalable que le multimédia se présente comme une simple " multitechnique " qui s'ajoute à la panoplie pédagogique de l'enseignement…(il)n'est pas un remplacement mais un ajout didactique qui doit être soigneusement évalué, sélectionné et organisé dans une médiathèque. En approfondissant les travaux de Briggs (Briggs et al ;1992) elle a mis en avant neuf styles interactivo-cognitifs : analytique, intuitif, pragmatique, émotionnel, introverti, extraverti, organisationnel ordonné, perceptif, auxquels se rajoute deux composantes indispensables la motivation et le clivage homme/femme, ce qui porte la totalité à onze éléments.

Ces résultats sont les fruits de la rencontre entre les démarches didactiques et le développement des grands courants de la psychologie cognitive propre à la première moitié
du 20e siècle. Cet inventaire peut se compléter par les études d'Erhman (1994) qui en matière d'apprentissage des langues a travaillé avec la grille d'analyse connue sous le nom du Myers Briggs Type Indicator (MBTI) mise au point par l'équipe de Myers Briggs (op cit) .
Les catégories de personnalités se déclinent sur quatre types psychologiques majeurs: le style interactif, organisé, désireux d'obtenir des informations et enfin celui qui " résout les problèmes " (Myers Briggs et al, op. cit.).
L'apport majeurs des travaux de cette équipe fut de révéler la nature binaire de chacun de ces quatre traits, de les mettre en relation combinatoire les uns avec les autres et d'obtenir ainsi une liste distributive finale de seize personnalités. Pour l'apprenant interactif, son style de communication avec son environnement peut être introverti ou extraverti, pour le style d'organisation : il s'agit d'un trait psychologique qui fait appel soit au jugement (il s'agit de la façon dont la personne organise et perçoit son entourage, se basant sur des indications, des valeurs plus ou moins strictes donc sans tolérance pour l'inconnu et le désordre) soit à la perception (ce type contrairement au précédent n'aime pas la structure et les organisations pré-établies, donc le nouveau ne lui fait pas peur). Avec le style pour " obtenir des informations ", nous sommes dans le cognitif qui va sollicité soit ses sens, soit son intuition. C'est à dire comment arriver à obtenir ce que l'on cherche, de façon très réaliste avec " j'observe "," je retiens " ou bien " je vais chercher ce que je ne vois pas " et "me lancer dans l'aventure ".Toujours pour le cognitif, la résolution des problèmes (comment les données et les informations seront analysées pour réagir ?). Ici deux groupes s'opposent : les penseurs minutieux qui sont tranchants dans la prise de décision et les émotifs qui écoutent leur pathos, voire celui des autres dans lequel ils s'enferment volontiers. Ces derniers affichent une logique personnelle et générale,… les apprenants au style cognitif excessivement linéaire, organisé et analytique(basé sur le jugement)s'attachera à l'exactitude linguistique, un perfectionnisme qui se traduit par des difficultés à créer avec la langue (Meunier, op. cit.). Il s'agit ici d'étudiants plus lents et moins performants. Ceux qui présentent les caractéristiques opposés s'avèrent flexibles, tolérants de situations linguistiquement ambiguës, spontanés à la production sans attachement excessif aux détails de langue et donc moins soucieux de l'exactitude linguistique dans leur production (Meunier, op. cit.). A l'heure de l'importance accordée à la communication, on comprend bien pourquoi ce sont les apprenants au style cognitif global intuitif et perceptif qui obtiennent les meilleurs résultats. Alors que ceux au style cognitif analytique et linéaire à force de rechercher " la perfection " perdent un temps précieux, hypothéquant ainsi sérieusement leur chance d'une communication/expression synchrones avec leur partenaire humain ou informatique.
Il convient en effet de ne pas oublier que l'apprenant de langue demeure d'abord un apprenant tout court et qu'en conséquence qu'il soit ou pas dans un environnement multimédia, ce qu'il utilisera en premier lieu ce sont ses propres stratégies d'apprentissage qui en second lieu dans cet environnement spécifique peuvent se transformer sur des différences cognitives plus " fines ". Pour chaque apprenant, elles sont d'ordre affectif (personnalité, attitudes, motivation) socio-culturelles, cognitives (aptitudes, intelligence, styles cognitifs, styles d'apprentissage). La littérature à leur sujet est diverse, en ce qui nous concerne, nous nous appuierons sur certains auteurs spécialistes de la question comme J.Atlan (1997,2001) et A. Wenden(1997). Ce dernier dit ne pas donner une définition des stratégies d'apprentissage mais toute une série de critères qui peuvent les caractériser exemple : des actions ou techniques spécifiques, elles peuvent être observées par le chercheur ou pas, orientées vers un problème, permettre de contribuer directement ou indirectement à l'apprentissage, elles peuvent être utilisées consciemment mais peuvent aussi devenir automatiques. Elles sont négociables car on peut les changer, les rejeter, les garder,… L'ensemble de ces critères seront repris en compte par Macintyre(1994-1996) surtout pour les stratégies d'apprentissage directes qui se définissent selon quatre conditions d'utilisation :
1) être conscient de la ou des stratégies appropriées
2) avoir une raison pour utiliser la stratégie ex : une motivation , un problème à résoudre
3) ne pas avoir une raison pour ne pas l'utiliser ex : lors de l'examen (impossibilité :la définition dans le dictionnaire) ou bien il est trop nerveux
4) l'utilisation de la stratégie doit être renforcée par des conséquences positives même si elle n'est pas utile pour l'apprentissage ex : se calmer avant l'examen
Ce choix peut varier en fonction de la tâche, des caractéristiques de l'apprenant et de la nature du matériel pédagogique(une technique donnée ne renvoie pas toujours à une même stratégie).
A retenir les travaux de Rébecca Oxford (1996) qui développeront beaucoup ces questions notamment avec son classement de soixante-deux techniques qu'elle considère comme autant de stratégies, à partir duquel elle a dressé un questionnaire de quatre-vingt questions le Profile of Results on the Strategy Inventory for language Learning (SILL) reconnu et validé internationalement.
Janet Atlan (2001) l'a simplifié par un tableau récapitulatif qui reprend la partition binaire de Macintyre: les stratégies directes (classe A) et les stratégies indirectes (classe B). La classe A fait appel à trois sous ensembles : les stratégies de rappel (créer des liens mentaux, regrouper en unités significatives ou associer à un contexte,…), les stratégies cognitives (analyser et raisonner, raisonner par déduction, transférer d'une langue à l'autre,…) et enfin les stratégies de compensation (deviner intelligemment, utiliser les indices linguistiques, utiliser d'autres indices,…), pour la classe B trois sous-groupes avec les stratégies métacognitives (centrer, organiser et planifier son apprentissage,…) les stratégies affectives (diminuer son anxiété, s'encourager, connaître ses émotions, …enfin les stratégies sociales (poser des questions, coopérer avec des tiers, s'identifier à d'autres personnes,…).
Des tâches possibles pour l'apprenant sont associées à ces stratégies pour chacun de ces groupes comme par exemple pour les métacognitives : centrer son apprentissage, faire attention ou retarder la production orale,…, pour les affectives : s'encourager, formuler des assertions positives,prendre des risques calculés,… et en dernier lieu pour les sociales : poser des questions à des tiers, demander des clarifications, demander à être corrigé,…
Au total pour l'apprentissage des langues, le tableau d'Atlan réunit six grands groupes de stratégies que nous appellerons "génériques "donnant lieu à dix-huit autres sous-groupes se répartissant en soixante-deux stratégies " fines ". Si nous croisons ces variables avec les seize traits composant la personnalité des apprenants tels que Briggs et al (1992) les ont définis précédemment, nous retrouvons sans surprise des résultats cohérents entre eux, à titre d'exemple pour le style obtenir des informations qui au niveau stratégie fait appel à son intuition, son corollaire chez Atlan la classe A des stratégies directes se retrouve dans le groupe des stratégies de compensation dans la catégorie deviner intelligemment qui au niveau des stratégies fines serait utiliser d'autres indices.
Evidemment il serait trop lourd ici de continuer ce jeu de croisement qu'il serait cependant utile de modéliser. Signalons toutefois que pour le classement d'Oxford certaines réductions quant au nombre des stratégies furent apportées à posteriori par les auteurs eux-mêmes.
Ces travaux eurent l'avantage de récapituler la plupart des stratégies employées par les apprenants et d'aider à mieux comprendre leur fonctionnement cognitif par leurs enseignants. Cette option s'étant traduite par des bénéfices pour l'apprenant et des propositions de produits mieux adaptés à son profil par le documentaliste ou le tuteur.
Ce fut la démarche adoptée par Janet Atlan qui a traduit et adapté en français avec l'aide d' Abdi Karazéroni le SILL composé du Tableau récapitulatif de classement des stratégies d'apprentisage et de l'Inventaire des stratégies d'apprentissage pour une langue étrangère (Oxford, 96). Elle a évalué ses apprenants d'anglais avec cet inventaire nouvelle mouture qui propose un total de 80 affirmations dont 48 pour la classe A (stratégies directes) et 38 pour la classe B (stratégies indirectes) avec 15 affirmations pour le groupe Stratégies de rappel, 25 pour le groupe stratégies cognitives, 8 pour celui des stratégies de compensation,16 pour les stratégies métacognitives, 8 pour les stratégies affectives et enfin 9 pour les stratégies sociales.
Pour répondre à ce questionnaire les étudiants ont disposé d'un choix de 5 réponses dont il devra cocher celle qui correspond le plus possible à son cas :
1) jamais ou presque jamais
2) généralement pas mon cas
3) de temps en temps mon cas
4) généralement mon cas
5) toujours ou presque jamais mon cas
L'enseignant, le tuteur ou autre croisera ces réponses en fonction de l'inventaire afin de déterminer de quel style cognitif relève l'apprenant/enquêté.
Pour quelques exemples voici des réponses que l'on pourrait obtenir.
Consignes : Entourez l'affirmation qui vous semble correspondre le mieux à votre cas : jamais ou presque jamais mon cas, généralement pas mon cas ,…
Stratégies de rappel: (a) créer des liens mentaux (stratégie générale) (b) regrouper en unités significatives (stratégie d'apprentissage d'une langue) c) Affirmation proposée : je crée des association entre ce que je connais déjà et les nouvelles choses que j'apprends en LE ( l'anglais pour le document d'Atlan).
Stratégies cognitives : a) s'entraîner b) répéter c) je répète ou écris de nouvelles expressions plusieurs fois afin de les pratiquer
Stratégies de compensation : a)dépasser les contraintes b) retourner à la langue maternelle, utiliser le mime ou gestes c) si lors d'une conversation (en LE) j'ai oublié l'expression correcte à utiliser, je fais des gestes ou je parle( français) momentanément
Stratégies métacognitives : a) organiser, planifier son apprentissage b) se fixer des buts et des objectifs c)j'organise mon emploi du temps personnel afin de pratiquer (la LE) systématiquement et non seulement quand il y a des tests
Stratégies affectives : a) diminuer son anxiété b) utiliser les techniques de détente c)j'essaie de me détendre quand j'angoisse d'utiliser la LE
Stratégies sociales : a) coopérer avec des tiers b) coopérer avec des utilisateurs compétents
c) il y a quelqu'un avec qui je travaille la LE régulièrement

Dans notre première partie nous avons souligné la non possibilité pour le logiciel de prévoir, activer, évaluer etc. l'ensemble des stratégies cognitives sollicitées dans la phase d'apprentissage d'une langue étrangère (ou autre), ces tâches restent donc encore largement dévolues à l'expertise humaine. Par contre, on pourra parler d'un progrès lorsque les produits seront conçus de manière à intégrer ces différents aspects, revendications que bon nombre de chercheurs et patriciens suggèrent depuis longtemps aux producteurs.

Discussion générale

Si on admet que les traitements psycholinguistiques participent dés le départ au processus d'apprentissage et d'acquisition des savoirs en fonction de plusieurs expérimentations attestant de leur efficience (Chappelle, 2000) en particulier pour les styles interactifs, il est maintenant difficile de nier que l'interactivité participe de ces procédures d'apprentissage. Reste cependant la tâche la plus compliquée à conduire, celle de mesurer de façon précise en fonction des styles cognitifs (Macintyre, Briggs op. cit.) et des stratégies d'apprentissage (Oxford, Atlan, op. cit.) la plus value produite par l'interactivité propre au multimédia (ou hypermédia) dans l'apprentissage d'une langue étrangère (Koulayan, 99, 2001). La recherche en matière d'ELAO manque d'informations directes surtout dans l'analyse, dans la nature et les effets de l'interaction (Chapelle, 2000). Ceci n'est guère surprenant car les protocoles d'expérimentation (pré-test, test, test de validation) sont assez difficiles à mettre en place. Pour notre part, nous avons monté un pré-test sur l'évaluation de l'utilisation des pop-up windows (ou escamots) d'aide dans les cédéroms d'apprentissage d'une LE pour des apprenants en France, en Grande-Bretagne et au Japon (Koulayan 2001, 2002, Detey, Sagaz, 2003). Les variantes sont nombreuses tant individuelles que de groupe à groupe. A ce niveau l'interactivité centrée sur l'aide s'avère sollicitée de manière complètement différente par les apprenants selon leurs objectifs de départ : confirmer leur information ou connaissance, soit la vérifier, soit la compléter. Autant de réponses que de styles et de stratégies d'apprentissage différents, que la passation au préalable de l'inventaire d'Atlan (op.cit.) auraient pu déterminer, car si nous connaissions les intentions avec lesquelles les apprenants utilisaient ces aides, nous ne savons toujours pas si leurs réponses pouvaient se recouper avec leur style interactivo-cognitif. Pour Chapelle (op. cit.),…De telles observations devaient jouer un rôle important dans la conceptualisation de mesures à utiliser pour l'évaluation des résultats : l'étude des différentes phases interactives a pour but de dégager les aspects linguistiques déficients de l'apprenant sur lesquels les mesures doivent porter. Ceci constituera un de nos prochains protocoles d'expérimentation ayant pour objectifs d'évaluer l'incidence des différents styles de mémoire sur l'utilisation des aides dans les méthodes d'apprentissage des langues étrangères sur cédérom (Koulayan, 2002). Cependant que de manière générale, le type de validation que nous pensons pouvoir obtenir en réalisant le croisement des données se perçoit déjà comme fragile. En premier lieu parce que lourd en paramètres à mettre en relation, en second lieu parce qu' "intrinsèquement subjectif " dans le sens où il s'agira pour l'apprenant d'une auto-évaluation : dites-nous selon ces 5 possibilités… "généralement pas mon cas " " de temps en temps mon cas ",…ce qui revient à lui demander quel type d'apprenant il pense être, alors difficile d'être à la fois l'outil et l'objet ! Pourtant cette démarche reste malgré tout une piste d'exploration intéressante pour laquelle on prévoit des retours indicatifs importants comme nous avons eu l'occasion de le vérifier (Koulayan, Detey, Sagaz, op cit)
Alors est-ce bien raisonnable d'apprendre une langue étrangère sur cédérom ?
Nous répondrons que oui cela pourra l'être, le jour où les méthodes seront développées en tenant compte au moins des grands styles d'apprentissage. A condition aussi que les produits aient été formalisés de manière objective, rigoureuse et culturellement cadrée tant du point de vue de leur utilisabilité que de leur interactivité, ce qui en ferait des produits " sur mesure " à haute valeur cognitive ajoutées, perspective autant alléchante que lointaine !

Références bibliographiques

Atlan, J. ;1997.Les stratégies d'apprentissage d'une langue étrangère : définitions, typologies, méthodologies de recherche. Les Cahiers de l'APLIUT, XVI, 3, p.9-18

Atlan, J et Abbidi, M ;2001. Les stratégies d'apprentissage appliquées aux langues, Journée d'études, LAIRDIL, Université Paul Sabatier, Toulouse 3,mai 2001

Briggs et al ;1992. Guide to the development and use of the Myers-Briggs Type Indicator. Palo Alto, CA : Consulting Psychologycal Press

Duquette, L et laurier, M ; 2000. Apprendre une langue dans un environnement multimédia, Montréal, Quebec, Editions Logiques

Desmarais, L ; 1998. Les technologies et l'enseignement des langues, Montréal, Quebec, Editions Logiques

Chamot, A;1989.Learning strategies in foreign language instruction, Foreign language Annals.22,1,p.13-24

Erhman,M ; 1994. Weakest and strongest learners in intensive language training in C.Klee (Dir.) Faces in a crowd : The individual Learner in the Multi-section Classroom. Boston, Heinle and Heinle, p.81-118

Koulayan, N; 1998. J'enseigne le français langue étrangère avec le multimédia ! Quelles en sont les premières valeurs ajoutées ? in Conférence virtuelle sur les NTIC et l'enseignement du FLE, Organisation internationale de la Francophonie, in http://ciffad.francophonie.org

Koulayan,N. 1999. L'enseignement du français langue non maternelle assistée par les NTIC. Pour un mariage à réussir ! Approches et réflexions méthodologiques in Comment penser la communication des connaissances ? L'Harmattan, Collection Communication et Technologie, Paris, p.353-359

Koulayan, N ; 2001. Comment le multimédia est-il perçu en tant qu'outil techno-pédagogique par les enseignants de langue ?in Congrés européen, L'enseignement du français au 3eme millénaire : invitation aux défis, Nicosie, 9-11 février

Koulayan,N ;2001.De l'utilisation des pop-up windows ou escamots d'aide dans l'apprentissage d'une langue étrangère sur cédérom in Journée doctorale Evaluation et multimédia ",Laboratoire J.Lordat, Université de Toulouse le Mirail, 18 mai

Koulayan, N ; 2002. Les pop-up windows, outils techno-pédagogiques du multimédia: facilitateurs mnésiques ? Premiers éléments. Communication prévue in Colloque Compréhension et hypermédias, 10-11 octobre 2002, IUFM, Albi

Koulayan, N, Detey , S et Sagaz M, 2003 (A paraître).Pré-test pour une évaluation de l'utilisation des pop-up windows d'aide dans les cédéroms de langue pour des apprenants en France, Grande-Bretagne et Japon.

Lancien ,T ;1997. Le multimédia. Cle International

Tricot, A ;Lafontaine, J ; 2002. " Evaluer l'utilisation d'un multimédia et l'apprentissage ", Apprentissage des langues et technologies : usages en émergence, CLE international, FIPF,p.45-55

Macintyre, P ;1994.Toward a Social Psychologycal Model of Strategy Use, Foreign language Annals,27,2,p.185-195

Macintyre, P. et Noels, K, 1996. Using social-psychological variables to predict the use of language-learning strategies, Foreign Language Annals,29,3 p. 373-386

Meunier,L ;2000. La typologie des intelligences humaine et artificielle : complexité pédagogique de l'enseignement des langues dans un environnement multimédia. In Apprendre une langue dans un environnement multimédia, Montréal, Quebec, Editions Logiques

Nielsen, J ; 1993. Usability engyneering, New-York, Academic press

O'Malley, J.M et Chamot, A ; 1989. Learning Strategy in second language acquisition. New-York ,Cambridge University Press

Oxford, R-L ;1990 Language learner Strategies : What every teacher should know. Newbury House Publishers

Oxford, R-L (ed.) ;.1996.Language Learning Strategies Around the world ;Crosscultural Perspectives. The university of Hawaï Press,Honolulu

Plass,J-L ;1998. Design and evaluation of the user interface of foreign language multimedia sofware : a cognitive approach in Language Learning and Technology, 2(1),35-45.5[Publication électronique]http://polyglot.cal.msu.edu/llt

Richards and al ;1992. Dictionnary of language teaching and applied linguistics (2e ed). Essex, England : Longman Group UK Limited

Scapin, D-L et Bastien, J.M.C;1997. Ergonomic criteria for evaluating the ergonomic quality of interactive systems, in Behaviour and Information Technology, vol.17, n°4/5, p. 220-231

Wenden,A ;1991.Learnerstrategies for learner autonomy. Prentice Hall International, London

Wyatt,D -H ;1987. Applying pedagogical principles to CALL courseware development, in Modern Media in Foreign Language Education : Theory and implementation ,Lincolnwood, IL : National Textbook, P.85-98