SELF – SYSTÈME D’EVALUATION EN LANGUES À VISÉE FORMATIVE

SELF

SELF

SELF

Contextualisation

L’évaluation des compétences en langues est l’une des difficultés majeures évoquées par les professionnels de la formation au sein des universités : 1/ le caractère fermé et décontextualisé des tests en langues disponibles, qui ne sont ni intégrés, ni reliés avec des parcours d’apprentissage ou de remédiation ; 2/ l’opacité ou l’absence d’un processus, nécessaire, de validation des contenus,  dans le but de produire un test équitable et utile ; 3/ l’absence de traces et de retours informatifs, qui puissent alimenter, tout au long d’un parcours de formation continue, le profil de l’apprenant ; 4/ le caractère sommaire des résultats fournis aux étudiants candidats aux tests et aux enseignants-tuteurs, faisant obstacle au processus d’(auto)régulation. Nous avons donc pris appui sur ces constats de carence pour proposer la conception et la mise en œuvre d’une démarche intégrée d’orientation, d’utilité nationale, qui permette à la fois d’évaluer de manière fiable les forces et les faiblesses de l’apprenant et de faciliter la constitution des groupes de niveau.

SELF – ‘Système d’Évaluation en Langues à visée Formative’

Le dispositif SELF ‘Système d’Évaluation en Langues à visée Formative’ constitue une « brique spécialisée » qui participe à la construction de l’écosystème Innovalangues, en synergie avec l’ENPA « Environnement Numérique Personnalisé d’Apprentissage pour les Langues », à savoir la plateforme “Langues” de l’Enseignement Supérieur, actuellement en préparation et déjà partiellement déployée. SELF consiste en la conception, le pilotage et l’assemblage d’une banque de tâches numériques multi-langues (6 langues cibles : italien, anglais, chinois, espagnol, japonais, FLE) réalisées pour des besoins de l’évaluation formative, administrées via un environnement numérique et ciblant trois habiletés (compréhension de l’oral, compréhension de l’écrit, expression écrite courte), du niveau A1 au niveau C1 (CECRL, 2001). SELF se présente en fait comme un test adaptatif de type multi-stade, intégrant un algorithme de fonctionnement, élaboré de telle manière à concilier les objectifs intrinsèques au test et un temps de passation réduit (53 minutes en moyenne) avec la validité et la fiabilité des résultats.

SELF ne se limite toutefois pas à jouer le rôle d’outil de positionnement : il se propose également d’introduire une innovation dans les pratiques d’évaluation institutionnelles en France et au-delà, par un dialogue entre les sciences du langage et les statistiques appliquées à la psychométrie. En l’occurrence, en matière d’effet transformant pour l’enseignement, SELF : 1/ répond à une demande réelle des institutions (évaluer un grand nombre d’étudiants) et aux contraintes de passation ; 2/ propose une cohérence inter linguistique au sein d’une offre de formation multilingue ; 3/ prépare une pédagogie par groupes de niveaux et par compétences dissociées. Sur le versant de l’apprentissage, SELF a été conçu de manière à : 1/ susciter la prise de conscience de l’apprenant (de ses forces-faiblesses, de ses évolutions) ; 2/ soutenir l’activité métacognitive (expression sur la difficulté perçue) ; 3/ soutenir l’autonomie (mieux se connaître pour mieux s’orienter – autodirection) ; 4/ poser les bases du profil d’apprentissage ; 5/ entrer en synergie avec les parcours d’apprentissage.

Pour en savoir plus :

SELF (Système d’Évaluation en Langue à visée Formative) : état actuel, déploiement effectif du système et perspectives à court et moyen terme (pré-copil juin 2015)

Présentation par Cristiana Cervini, Coordinatrice du lot SELF, et Yoann Goudin, Coordinateur du Chinois mandarin, du déploiement et des perspectives de l’outil de positionnement et de diagnostic SELF – Système d’Evaluation en Langues à visée Formative – du bilan du cycle de testing, des pré-tests par compétence et par niveau, des analyses psychométriques, du calibrage, de la banque d’items, du test adaptatif à étapes et des pilotages du mandarin.

En savoir plus sur cet épisode

Déploiement, Diffusion et Réseaux associatifs

Depuis 2012, les démarches de recherche, conception et développement de SELF ont été présentées à plusieurs dizaines de colloques, séminaires et journées d’études, en France, en Italie, en Espagne, aux Pays-Bas, en Angleterre. Le projet porteur de SELF, Innovalangues, est en outre associé à la Confédération CERCLES (‘European Confederation of Language Centres in Higher Education’) et spécifiquement au SIG ‘Language Evaluation and Assessment’, sous la direction de Johann Fischer.

La participation des équipes langues à plusieurs cours de spécialisation et de formation au testing (proposés par James Purpura et Antony Kunnan, Columbia University, et par le CIEP, Centre International d’études pédagogiques, Cellule « Qualité et Expertise en Évaluation ») témoigne de l’engagement de SELF pour l’évaluation à tous les niveaux (certificative, diagnostique, de positionnement). L’Université de Grenoble Alpes étant chargée de la coordination nationale de la certification CLES (Certificat de compétences en Langues de l’Enseignement Supérieur),  nous serons rapidement amenés à consolider la validation croisée des données par une étude de corrélation entre les résultats de la certification nationale CLES et les résultats issus de SELF.

Enfin, en ce qui concerne le déploiement à large échelle, un nombre non négligeable d’institutions d’enseignements sont d’ores et déjà impliquées dans l’utilisation de SELF à des fins d’évaluation des compétences de leurs étudiants (UGA, IUT2 Grenoble, Université de Nice, Université de Strasbourg, Université Picardie Jules Verne, ENSAE ParisTech) et l’intérêt grandissant suscité par ce développement laisse entrevoir une diffusion à l’échelle nationale et au-delà (en perspective pour le semestre 2 2015-2016 : Lycée Lazare Ponticelli de Paris, Ecole d’ingénieurs ENS Lyon, Université de Macerata en Italie).

Fin 2018, SELF représentait plus de 80 000 passations au niveau national.

Publications

  • CERVINI C., MASPERI M., JOUANNAUD M.-P., SCANU F. (2013). Defining, modeling and piloting SELF, a new formative assessment test for foreign languages. In J. Colpaert, M. Simons, A. Aerts, M. Oberhofer (editors). Language Testing in Europe: time for a new framework, University of Antwerp, 29-31th May 2013.
  • CERVINI C. (2014). La valutazione multilingue nel contesto dei dispositivi formativi: il sistema SELF per il posizionamento e la diagnosi delle competenze linguistiche. LEND – Lingua e Nuova Didattica, 1: 16-26. Milano.
  • CERVINI C., JOUANNAUD M.P. (2015). « Ouvertures et tensions liées à la conception d‘un système d‘évaluation numérique multilingue en ligne dans une perspective communicative et actionnelle ». ALSIC – Apprentissage des langues et systèmes d’information et de communication. Numéro spécial ‗Des machines et des langues.
  • CERVINI C. (2016). Approcci integrati nel testing linguistico: esperienze di progettazione e validazione in prospettiva interlinguistica. In Cervini C. (a cura di). Interdisciplinarità e apprendimento linguistico nei nuovi contesti formativi. L’apprendente di lingue tra tradizione e innovazione. Quaderni del CESLIC, Dip. LILEC, Bologna. pp. 64-85. ISSN: 1973-932X. http://amsacta.unibo.it/5069/
  • CERVINI C., PERRET A-C., (2017). “Le SELF au service du FLE”. Le Français dans le Monde, Tribune ADECUEF, janvier/février 2017.
  • TOMOKO HIGASHI, CHIEKO SHIROTA & MICHIKO NAGATA.  (2017). “Developing a Japanese Language Test for a Multilingual Online Assessment System: Towards an Action-oriented Approach to Japanese Instruction in Europe.” Dans Alte 6Th International Conference Proceedings (pp.236-245). Présenté à ALTE 6th International Conference, Bolonga, Italy. http://events.cambridgeenglish.org/alte2017-test/perch/resources/alte-2017-proceedings-final.pdf HigashiAl2017_Developing a Japanese Language Test for a Multilingual Online Assessment System
  • TOMOKO HIGASHI, CHIEKO SHIROTA & MICHIKO NAGATA  (2017). CEFR ni junkyo shita nihongo onrain tesuto no kaihatsu (élaboration d’un test du japonais en ligne adossé au CECRL) , dans Actes du 16ème colloque sur l’enseignement du japonais en France, Paris, Inalco (pp.159-166) http://aejf.asso.fr/files/symposium_actes/2017_actes/actes_2017_ippanhappyo/18HIGASHI-Tomoko_SHIROTA-Chieko_NAGATA-Michiko_INALCO2017.pdf
  • COULANGE, S. (2017). « Processus de validation du test SELF (Système d’Évaluation en Langues à visée Formative) japonais – premiers pilotages des items » in Actes des Journées d’Études Innovalangues – Université Grenoble Alpes, 9 et 10 juin 2016, http://innovalangues.fr/enseigner-apprendre-evaluer-japonais-perspective-cecrltransformations-pratiques-pedagogiques/
  • HIGASHI, T. (2017). « Parcours cognitifs chez des étudiants lors de la passation du test pilote SELF japonais – À partir du protocole think aloud – » in Actes des Journées d’Études Innovalangues – Université Grenoble Alpes, 9 et 10 juin 2016, http://innovalangues.fr/enseigner-apprendre-evaluer-japonais-perspective-cecrltransformations-pratiques-pedagogiques/
  • CHIEKO, S. (2017). « Conception d’un test de japonais à partir du CECRL » in Actes des Journées d’Études Innovalangues – Université Grenoble Alpes, 9 et 10 juin 2016, http://innovalangues.fr/enseigner-apprendre-evaluer-japonais-perspective-cecrltransformations-pratiques-pedagogiques/
  • HIGASHI T., SHIROTA C., (à paraître). Kôdôchûchin-apurôchi ni motozuita Yôroppa ni okeru nihongo-on-rain tesuto no kaihatsu (Développement d’un test de Japonais en ligne dans une perspective actionnelle en Europe), in  « ICT x nihongokyôiku: ICT ga tsukuru atarashii hihongokyôiku e no chosen » (TIC pour la pédagogie du japonais: challenge d’une nouvelle pédagogie du japonais grâce aux TIC).
  • FRANCO P., CHAVEZ C. (à paraître).  « SELF: reflexiones en torno a  la concepción de un test de posicionamiento en un entorno digital.  Experiencia del equipo de español » in New Trends in Foreign Language Teaching
  • FRANCO P., CHAVEZ C. (à paraître). : Inclusión de las variantes del español y uso de recursos auténticos en un test de posicionamiento: SELF español / L’inclusion des variantes de l’espagnol et l’utilisation de ressources authentiques dans un test de positionnement: SELF Espagnol, « Synergies Chili ».
  • CERVINI, C., MASPERI, M.  (soumis). Designing a Multilingual Large-Scale Placement Test with a Formative Perspective: A Case Study at the University of Grenoble Alpes. Call for chapters: Issues in Language Testing around the world, eds. Betty Lanteigne, Christine Coombe, and James Dean Brown http://www.iltaonline.com/event/id/1031146/Call-for-Chapters-Issues-in-Language-Testing-Around-the-World.htm
  • COULANGE, S., JOUANNAUD, M.-P., CERVINI, C., MASPERI, M. (soumis). From placement to diagnostic testing: improving feedback to learners and other stakeholders in SELF (Système d’Evaluation en Langues à visée Formative), In : Actes du XV Cercles International Conference: “Broad Perspectives on Language Education in the Globalized World”, 6-8 septembre 2018, Poznan, Pologne.
  • GIANNINOTO, M-R, YAN RUI (en préparation, à paraître été 2019). « How does SELF articulate the assessment in written reception skills with those in oral reception? » in : Berger, C., Bleichenbacher, L., Heinzmann, S. & Picenoni, M., numéro special revue Babylonia. ISSN 1420-0007.