L'évaluation des apprentissages et des interactions dans un environnement multimédia en L2 Lise Desmarais Institut canadien du service extérieur lisian@magi.com Lise Duquette Université d'Ottawa lduquett@uottawa.ca Michel Laurier Université de Montréal laurierm@ERE.UMontreal.CA Mee-Lian Chung Université de Montréal chunghom@magellan.umontreal.ca Delphine Renié Université d'Ottawa drenie@uottawa.ca 1997 ACH/ALLC 1997 editor the secretarial staff in the Department of French Studies at Queen's University Greg Lessard encoder Sara A. Schmidt évaluation multimédia langue seconde Ce panel est consacré à un projet qui vise à étudier les stratégies mises en oeuvre lors de l'utilisation d'un environnement multimédia conçu pour l'apprentissage du français langue seconde, et à évaluer les apprentissages réalisés dans ce contexte particulièrement en ce qui a trait à la compréhension et au vocabulaire. De façon plus spécifique, nous avons voulu répondre aux questions suivantes : - Quelles stratégies d'apprentissage sont utilisées dans un environnement multimédia? - Quelles stratégies d'apprentissage sont efficaces dans un environnement multimédia? - Le cadre conceptuel cognitif convient-il à la réalité de l'apprentissage d'une L2 dans un environnement multimédia? Nous avons utilisé le vidéodisque Vi-Conte. Ce matériel multimédia a été mis au point par une équipe de l'Université de Guelph et de l'Université de Calgary (Mydlarski et Paramskas, 1991). Il exploite un court métrage, CRAC! (Back, 1981), qui présente certains aspects de la culture québécoise. Ce matériel met l'accent sur la compréhension générale et le vocabulaire. Le panel comportera trois volets. Dans un premier temps, les intervenantes présenteront la méthodologie utilisée pour réaliser les objectifs de la recherche. La moitié des sujets étaient inscrits dans des programmes d'été offerts dans deux établissements de niveau post-secondaire; les autres, des adultes, apprenaient le français pour satisfaire des exigences professionnelles. Les sujets (N=96) ont été répartis en trois groupes de façon aléatoire : un groupe expérimental (N=32), un groupe témoin-vidéo (N=32) et un groupe témoin N=32). Le groupe expérimental a travaillé avec le matériel multimédia Vi-Conte durant les périodes d'auto-apprentissage (trois séances d'une heure). Le groupe témoin-vidéo a visionné la version narrative du film (15 minutes) et le groupe témoin servait à évaluer l'effet du cours dans l'étude. Les intervenantes du panel 2 présenteront les instruments d'évaluation du vocabulaire et de la compréhension générale, ainsi que les résultats obtenus dans ces épreuves. Enfin, les intervenants du panel 3 présenteront une analyse des parcours suivis par chaque sujet au cours des trois séances dans Vi-Conte et les résultats de leurs observations. La méthodologie Lise Desmarais Mee-Lian Chung Les recherches qualitatives utilisées depuis plus d'une dizaine d'années dans les recherches empiriques jouent un rôle de plus en plus important dans les divers domaines de l'éducation. (Barfuth et coll. 1994) Même si les typologies et les grilles d'évaluation permettent d'évaluer des didacticiels, les mises à l'essai bien encadrées constituent une option à ne pas négliger. Pour connaître les réactions des apprenants aux environnements multimédia et analyser leurs cheminements, les approches qualitatives sont souvent plus appropriées que les méthodes quantitatives. C'est en outre ce que recommande Garrett (1991) qui suggère la mise en place de protocole de recherche qualitative basé sur l'observation des sujets pour une meilleure compréhension des variables en jeu lors de l'utilisation du multimédia. Chun et Plass (1995) précisent que ces recherches ont pour but de fournir des informations quant au processus d'apprentissage, à l'impact de l'utilisation de certaines stratégies d'enseignement à l'aide de matériel informatisé et de certains modes de présentation. Afin d'analyser les stratégies d'apprentissage des usagers du programme Vi-Conte, nous avons voulu le proposer à un échantillon suffisamment important de sujets et comparer leur apprentissage à un groupe de sujets ayant été exposés seulement à la version narrative de CRAC (témoin-vidéo) et à un groupe témoin ayant suivi le cursus scolaire normal. Le nombre total de sujets devait donc se répartir comme suit : Répartition de l'échantillon NIVEAUX Genre F H Elémentaire Expérimental 8 8 Témoin-vidéo 8 8 Témoin 8 8 Intermédiaire Expérimental 8 8 Témoin-vidéo 8 8 Témoin 8 8 Les instruments de cueillette de données Dans le but d'analyser les stratégies de sujets, nous avons utilisé la méthode introspective de la réflexion à haute voix en demandant aux sujets de verbaliser ce qui motive leurs comportements d'apprenant durant les moments où l'apprentissage s'effectue. Pour s'assurer de la constance des verbalisations, un assistant de recherche accompagnait les sujets et les incitait à verbaliser lorsque nécessaire. Pour conserver les réflexions des apprenants, nous avons utilisé un convertisseur qui permet d'enregistrer sur bande vidéo les verbalisations des sujets ainsi que les pages-écrans qui ont suscité ces verbalisations. Ceci permet d'une part d'alléger l'appareillage nécessaire à l'enregistrement puisque cela se fait sans que le sujet en soit pleinement conscient. En outre, cet appareil permet d'associer directement la verbalisation à l'action effectuée par le sujet et au contenu du programme multimédia. Il ne suffit que de transcrire fidèlement ces données pour obtenir une reproduction de la séance de travail à l'ordinateur. De plus, pour obtenir une description factuelle des comportements des sujets, une trace informatique permettant de décrire les parcours individuels des sujets et le temps alloué à chaque activité a été intégrée au programme informatique. Cette trace permet, d'une part, de suivre le cheminement du sujet dans toutes ses actions et, d'autre part, d'obtenir des données quantitatives quant au temps d'utilisation de chaque activité ainsi que des données globales sur la fréquence des activités utilisées au cours d'une séance et du temps moyen d'utilisation. Pour décrire les sujets et les différentes variables les concernant, nous avons utilisé un questionnaire socio-démographique, un questionnaire d'attitude sur l'apprentissage du français et sur l'utilisation de l'informatique à des fins d'apprentissage, l'indicateur de préférences de Myers-Briggs et un test de classement adaptatif CAPT (Laurier 1990). Un questionnaire a permis d'obtenir une évaluation globale que les sujets ont faite du programme multimédia. Pour déterminer l'efficacité des stratégies utilisées par les sujets, il fallait évaluer les progrès. Nous avons élaboré un test de vocabulaire et un test de compréhension générale. Les instruments d'analyse des données Les transcriptions des verbalisations constituent la partie essentielle des données recueillies sur lesquelles s'appuie l'identification des stratégies. Le format choisi pour uniformiser les transcriptions permet d'identifier ce qui apparaît à l'écran, ce que le sujet dit et les gestes qu'il pose ainsi que les commentaires de l'assistant de recherche. La comparaison entre la transcription et le relevé de la trace informatique nous informe de la conformité de la transcription à la réalité de la séance de travail. L'analyse des transcriptions permet de créer des synopsis décrivant le déroulement d'une séance de travail, ce qui nous fournit un aperçu global de la séance et les diverses étapes qu'a suivies le sujet ainsi que le taux de succès dans les activités. Les synopsis donnent lieu à la production de schémas de navigation qui fournissent une perception visuelle et synthétique de la séance de travail. Grâce aux schémas, on pourra, de façon globale, déterminer le type de cheminement des sujets. Pour identifier les stratégies privilégiées par les sujets, nous nous appuyons d'abord sur la typologie des stratégies d'apprentissage proposée par Oxford (1990). Cependant, comme cette typologie n'a pas été conçue dans le cadre d'un apprentissage multimédia, certaines modifications doivent être appliquées et certains ajouts apportés. C'est ainsi, par exemple, que nous nous sommes rendu compte de l'importance des stratégies métacognitives où l'apprenant planifie et organise les étapes de son cheminement, où il explore les fonctionnalités du système. Les stratégies cognitives comme le raisonnement déductif sur la langue ou sur l'environnement informatique occupent également une place importante. Par ailleurs, les stratégies sociales ont peu d'importance dans ce type d'environnement où l'apprenant travaille de façon autonome. C'est donc par l'analyse des transcriptions qu'on peut déterminer les stratégies spécifiques ainsi que leur fréquence. C'est aussi par l'analyse des stratégies des sujets dont les progrès ont été les plus marqués que l'on arrivera à déterminer les stratégies d'apprentissage les plus efficaces. Le vocabulaire Lise Duquette Delphine Renié Les études sur le vocabulaire en contexte montrent que les gains d'apprentissage sont souvent limités, d'une part parce que la majorité des apprenants éprouvent des difficultés à faire des inférences justes à partir du contexte et, d'autre part parce que les différents contextes fournis ne sont pas équivalents (Schatz et coll. 1986). Le manque de richesse de certains contextes ainsi que, pour la majorité des étudiants, les difficultés à utiliser les indices contextuels pour deviner (Bensoussan et coll. 1984; Gabbay et coll. 1984; Hulstijn, 1993; Sternberg et coll. 1983a, 1983b; Todd, 1993) et à retenir les nouveaux mots amènent les chercheurs à prôner un entraînement spécifique pour développer des stratégies efficaces d'apprentissage du vocabulaire. De plus, certains facteurs individuels sont à prendre en compte dans l'apprentissage lexical : le niveau de connaissance de la langue maternelle (Palmberg, 1987), le niveau de connaissance en langue seconde ou étrangère (Cohen et coll. 1980) et les connaissances antérieures (Adams 1982; Carrell 1984; Omaggio 1979; Mueller 1980). Nous savons, de par les études dans le domaine, que l'enseignement explicite est lent et nécessite plusieurs présentations des mots et que cette technique doit s'accompagner d'un apprentissage implicite ou en contexte afin que l'étendue des connaissances lexicales augmente plus rapidement (Gipe 1980; Nagy et coll. 1987; Stahl et coll. 1986). étant donné que l'environnement multimédia permet souvent une approche mixte, nous avons tenté de répondre aux questions spécifiques suivantes: - Les contextes extralinguistiques riches qu'offre l'environnement multimédia favorisent-ils l'apprentissage du vocabulaire? - Quelles sont les caractéristiques des mots appris (forme, fréquence, niveau de difficulté, indices contextuels)? - Les apprenants qui possèdent un vocabulaire plus étendu ont-ils une meilleure compréhension générale du contenu? - Observe-t-on des différences en terme de gain lexical si l'on considère les variables indépendantes suivantes : les niveaux, les catégories et le genre des sujets? Les instruments Deux épreuves ont été élaborées dans le cadre de l'étude : une épreuve de vocabulaire et une épreuve de compréhension générale spécifique. L'épreuve de vocabulaire est de type hiérarchique et vise à évaluer la maîtrise de trente mots polysémiques sélectionnés à partir de la narration de Vi-Conte. Elle évalue l'étendue des connaissances lexicales et en mesure la profondeur. L'épreuve de compréhension orale a été élaborée sous forme de 14 questions à choix multiples portant sur la narration de Vi-Conte . Tous les sujets du groupe expérimental et témoin-vidéo ont subi cette épreuve. L'examen des résultats descriptifs aux épreuves de vocabulaire montre que les groupes sont équivalents au départ en ce qui concerne la connaissance des mots-cibles évalués et qu'il n'y a pas de différence dans le gain entre les groupes. Quant aux résultats à l'épreuve de compréhension générale, ils n'indiquent aucune différence significative. Les corrélations de Spearman effectuées entre les résultats à l'épreuve de vocabulaire et ceux obtenus à l'épreuve de compréhension générale montrent qu'il y a une plus grande variabilité à la fin de l'expérimentation (0,6) qu'au début (0,7). On peut expliquer ces résultats par l'effet du cours qui aurait rendu les groupes de sujets plus hétérogènes. Les analyses de variance intergroupes n'ont pas indiqué de différences significatives alors que les analyses intragroupes en ont montré. Il y a donc chez les sujets des gains au regard de certains mots. Ces résultats nous ont amené à effectuer des analyses exploratoires. Ainsi, nous avons examiné les contextes où les mots acquis étaient présentés, leur fréquence dans la langue et dans le vidéodisque. La navigation Michel Laurier Delphine Renié Vi-Conte est structuré en trois parties. Dans la partie OBSERVATION, l'étudiant peut visionner, au complet ou par segments, le film original (muet), apprendre du vocabulaire relié au contenu du film ou répondre à des questions sur les images du film. Dans la partie NARRATION, l'étudiant peut visionner le film, au complet ou par segments, en écoutant le texte d'accompagnement; il peut aussi répondre à des questions de compréhension sur le film, compléter des exercices lacunaires ou accéder à des "Notes culturelles". La partie RÉFLEXION regroupe des images sur des attraits touristiques et de la vie culturelle du Québec; on y trouve aussi la narration (en français standard et en franco-québécois) de légendes traditionnelles et il est possible d'accéder encore une fois aux "Notes culturelles". Un volet du projet consistait à examiner les parcours suivis par chaque sujet au cours des trois séances. L'analyse des transcriptions a permis de créer des synopsis qui retracent les étapes d'une séance de travail. On y trouve l'identification de l'activité, une brève description des actions du sujet et le temps passé dans l'activité. Les synopsis ont aussi servi à la production de schémas de navigation qui donnent une représentation visuelle et synthétique de la séance de travail. Le schéma de navigation illustre les transitions d'une partie à l'autre et l'axe vertical permet de voir le temps passé dans chaque activité. Un code de couleur sert à distinguer les différents types d'activité : visionnement, exercice lacunaire, etc. L'examen des synopsis et des schémas de navigation révèle une tendance chez les sujets à adopter des parcours plus hésitants au cours de la première séance de travail. Dans plusieurs cas, la démarche se systématise à mesure que le sujet se familiarise avec les fonctions du système et le contenu des activités. De fait, on peut penser que les sujets consacrent environ le quart de leur temps à des activités qui visent principalement la maîtrise de l'environnement plutôt qu'à un apprentissage centré sur les objectifs du programme. Le temps de familiarisation est un aspect dont le concepteur doit tenir compte dans le développement d'un tel système. Au-delà des tâtonnements qui visent la maîtrise de l'environnement, se dessinent toutefois deux profils distincts. D'une part, des sujets montrent des parcours chaotiques : ils commencent des activités sans les compléter et passent d'une activité à l'autre (ou d'une partie à l'autre) sans plan apparent. D'autre part, des sujets préfèrent une démarche plus linéaire : ils persistent dans leurs activités et choisissent celles-ci dans un ordre dicté par la structure du programme ou recherchent un type d'activité particulier. Il apparaît que la majorité des apprenants suivent un parcours plutôt chaotique pendant la première séance et tendent à adopter un parcours plus linéaire par la suite. On peut penser qu'au début, les apprenants ressentent le besoin d'explorer l'environnement d'apprentissage. C'est sans doute ce qui les amène à consacrer, de façon générale, environ le quart de leur temps à se familiariser aux différentes possibilités qu'offre le didacticiel. Il nous faudra déterminer si des différences dans les parcours individuels peuvent être associées à des variables socio-démographiques ou cognitives, ou au niveau de compétence. (Cette étude a été rendue possible grâce à une subvention du Conseil de Recherches en Sciences humaines du Canada.) Références bibliographiques S. J. Adams Scripts and the recognition of unfamiliar vocabulary: Enchancing SL reading skills Modern Language Journal 66 155-159 1982 F. Back Crac! Office national du film 1981 M. A. Barfurth J. Basque M. Chomienne L. R. Winer Les instruments de collecte de données de recherche qualitative dans des environnements pédagogiques informatisés P. Bordeleau Dans Apprendre dans des environnements pédagogiques informatisés Montréal éditions Logiques 1994 485-548 M. Bensoussan B. Laufer Lexical guessing in context in EFL reading comprehension Journal Research in Reading 7 1 15-71 1984 P. L. Carrell Evidence of a formal schema in second language comprehension Language Learning 34 2 87-112 1984 D. M. Chun J. L. Plass Project Cyberbuch: a hypermedia approach to computer-assisted language learning Journal of Educational Multimedia and Hypermedia 4 1 95-116 1995 A. D. Cohen E. A. Aphek Retention of second language vocabulary over time: Investigating the role of mnemonic associations System 8 221-235 1980 A. Gabbay D. Irensky Cognitive processes of vocabulary recognition Reports-Research Technical No.143 Center for Social Organization of Shools. (ERIC Document Reproduction Service Ed 250908) Baltimore, MD Johns Hopkins Unviversity 1984 N. Garrett Technology in the service of language learning: trends and issues Modern Language Journal 75 74-101 1991 J. P. Gipe Use of relevant context helps kids learning new word meanings The Reading Teacher 33 4 398-402 1980 J. H. Hulstijn When do foreign-language readers look up the meaning of unfamiliar words? The influence of task and learner variables The Modern Language Journal 77 2 139-147 1993 M. Laurier Forces et faiblesses de deux types de tests de classement en français langue seconde, au niveau post-secondaire: avec et sans ordinateur Thèse de doctorat Toronto. OISE 1990 G. A. Mueller Visual contextual cues and listening comprehension: An experiment The Modern Language Journal 64 3 335-340 1980 W. E. Nagy R. C. Anderson P. A. Herman Learning words meaning from context during normal reading American Educational Research Journal 24 2 237-270 1987 D. Mydlarski D. Paramskas Vi-Conte Vidéodisque distribué par PICS 1991 A. C. Omaggio Pictures and SL comprehension: Do they help? Foreign Language Annals 12 107-116 1979 R. L. Oxford Language Learning Strategies: What Every Teacher Should Know New York Newbury House 1990 R. Palmberg On lexical inferencing and the young FL learner System 15 1 69-76 1987 E. K. Schatz R. S. Baldwin Context clues are unreliable predictors of word meanings Reading Research Quarterly 21 4 439-453 1986 S. A. Stahl M. M. Fairbanks The effect of vocabulary instruction: A model-based meta-analysis Review of Educational Research 56 1 72-110 1986 R. J. Sternberg J. S. Powell D. B. Kaye Teaching vocabulary-building skills: A Contextual Approach A. C. Wilkinson Classroom computers and cognitive science New York Academic Press 1983a 121-143 R. J. Sternberg J. S. Powell Comprehending verbal comprehension American Psychologist 38 7 878-893 1983b H. F. Todd The effectiveness of multimedia technology in the acquisition of Spanish vocabulary Thèse de doctorat University of Pennsylvania 1993