SELF – ‘Système d’évaluation en langues à visée formative’

Système d’évaluation en langues à visée formative

Système d'évaluation en langues à visée formative

 

Contextualisation

L’évaluation des compétences en langues est l’une des difficultés majeures évoquées par les professionnels de la formation au sein des universités : 1/ le caractère fermé et décontextualisé des tests en langues disponibles, qui ne sont ni intégrés, ni reliés avec des parcours d’apprentissage ou de remédiation ; 2/ l’opacité ou l’absence d’un processus, nécessaire, de validation des contenus,  dans le but de produire un test équitable et utile ; 3/ l’absence de traces et de retours informatifs, qui puissent alimenter, tout au long d’un parcours de formation continue, le profil de l’apprenant ; 4/ le caractère sommaire des résultats fournis aux étudiants candidats aux tests et aux enseignants-tuteurs, faisant obstacle au processus d’(auto)régulation. Nous avons donc pris appui sur ces constats de carence pour proposer la conception et la mise en œuvre d’une démarche intégrée d’orientation, d’utilité nationale, qui permette à la fois d’évaluer de manière fiable les forces et les faiblesses de l’apprenant et de faciliter la constitution des groupes de niveau.

SELF – ‘Système d’Évaluation en Langues à visée Formative’

Le dispositif SELF ‘Système d’Évaluation en Langues à visée Formative’ constitue une « brique spécialisée » qui participe à la construction de l’écosystème Innovalangues, en synergie avec l’ENPA « Environnement Numérique Personnalisé d’Apprentissage pour les Langues », à savoir la plateforme “Langues” de l’Enseignement Supérieur, actuellement en préparation et déjà partiellement déployée. SELF consiste en la conception, le pilotage et l’assemblage d’une banque de tâches numériques multi-langues (6 langues cibles : italien, anglais, chinois, espagnol, japonais, FLE) réalisées pour des besoins de l’évaluation formative, administrées via un environnement numérique et ciblant trois habiletés (compréhension de l’oral, compréhension de l’écrit, expression écrite courte), du niveau A1 au niveau C1 (CECRL, 2001). SELF se présente en fait comme un test adaptatif de type multi-stade, intégrant un algorithme de fonctionnement, élaboré de telle manière à concilier les objectifs intrinsèques au test et un temps de passation réduit (53 minutes en moyenne) avec la validité et la fiabilité des résultats.

SELF ne se limite toutefois pas à jouer le rôle d’outil de positionnement : il se propose également d’introduire une innovation dans les pratiques d’évaluation institutionnelles en France et au-delà, par un dialogue entre les sciences du langage et les statistiques appliquées à la psychométrie. En l’occurrence, en matière d’effet transformant pour l’enseignement, SELF : 1/ répond à une demande réelle des institutions (évaluer un grand nombre d’étudiants) et aux contraintes de passation ; 2/ propose une cohérence inter linguistique au sein d’une offre de formation multilingue ; 3/ prépare une pédagogie par groupes de niveaux et par compétences dissociées. Sur le versant de l’apprentissage, SELF a été conçu de manière à : 1/ susciter la prise de conscience de l’apprenant (de ses forces-faiblesses, de ses évolutions) ; 2/ soutenir l’activité métacognitive (expression sur la difficulté perçue) ; 3/ soutenir l’autonomie (mieux se connaître pour mieux s’orienter – autodirection) ; 4/ poser les bases du profil d’apprentissage ; 5/ entrer en synergie avec les parcours d’apprentissage.

Pour en savoir plus :

SELF (Système d’Évaluation en Langue à visée Formative) : état actuel, déploiement effectif du système et perspectives à court et moyen terme (pré-copil juin 2015)

Présentation par Cristiana Cervini, Coordinatrice du lot SELF, et Yoann Goudin, Coordinateur du Chinois mandarin, du déploiement et des perspectives de l’outil de positionnement et de diagnostic SELF – Système d’Evaluation en Langues à visée Formative – du bilan du cycle de testing, des pré-tests par compétence et par niveau, des analyses psychométriques, du calibrage, de la banque d’items, du test adaptatif à étapes et des pilotages du mandarin.

En savoir plus sur cet épisode

Déploiement, Diffusion et Réseaux associatifs

Depuis 2012, les démarches de recherche, conception et développement de SELF ont été présentées à plusieurs dizaines de colloques, séminaires et journées d’études, en France, en Italie, en Espagne, aux Pays-Bas, en Angleterre. Le projet porteur de SELF, Innovalangues, est en outre associé à la Confédération CERCLES (‘European Confederation of Language Centres in Higher Education’) et spécifiquement au SIG ‘Language Evaluation and Assessment’, sous la direction de Johann Fischer.

La participation des équipes langues à plusieurs cours de spécialisation et de formation au testing (proposés par James Purpura et Antony Kunnan, Columbia University, et par le CIEP, Centre International d’études pédagogiques, Cellule « Qualité et Expertise en Évaluation ») témoigne de l’engagement de SELF pour l’évaluation à tous les niveaux (certificative, diagnostique, de positionnement). L’Université de Grenoble Alpes étant chargée de la coordination nationale de la certification CLES (Certificat de compétences en Langues de l’Enseignement Supérieur),  nous serons rapidement amenés à consolider la validation croisée des données par une étude de corrélation entre les résultats de la certification nationale CLES et les résultats issus de SELF.

Enfin, en ce qui concerne le déploiement à large échelle, un nombre non négligeable d’institutions d’enseignements sont d’ores et déjà impliquées dans l’utilisation de SELF à des fins d’évaluation des compétences de leurs étudiants (UGA, IUT2 Grenoble 2, Université de Nice, Lycée Vaucanson de Grenoble, Université de Strasbourg, Université Picardie Jules Verne, ENSAE ParisTech) et l’intérêt grandissant suscité par ce développement laisse entrevoir une diffusion à l’échelle nationale et au-delà (en perspective pour le semestre 2 2015-2016 : Lycée Lazare Ponticelli de Paris, Ecole d’ingénieurs ENS Lyon, Université Montpellier 3, Université de Macerata en Italie).

Publications

1. CERVINI C., JOUANNAUD M.P. (2015). Ouvertures et tensions liées à la conception d’un système d’évaluation numérique multilingue en ligne dans une perspective communicative et actionnelle ». ALSIC – Apprentissage des langues et systèmes d’information et de communication. Numéro spécial ‘Des machines et des langues’. *revue de rang A+

2. CERVINI C. (2014). La valutazione multilingue nel contesto dei dispositivi formativi : il sistema ‘SELF’ per il posizionamento e la diagnosi delle competenze linguistiche. LEND – Lingua e Nuova Didattica, 1: 16-26. Milano. [revue de rang A]

3. CERVINI C., MASPERI M., JOUANNAUD M.-P., SCANU F. (2013). Defining, modeling and piloting SELF, a new formative assessment test for foreign languages. In J. Colpaert, M. Simons, A. Aerts, M. Oberhofer (editors). Language Testing in Europe: time for a new framework, University of Antwerp, 29-31th May 2013.

4. [à paraître] CERVINI C. La valutazione e il testing : possibili strumenti di ricerca-azione e di autonomizzazione per l’apprendimento linguistico. In Cervini C. (a cura di). Interdisciplinarità e apprendimento linguistico nei nuovi contesti formativi. L’apprendente di lingue tra tradizione e innovazione. Quaderni del CESLIC, Dip. LILEC, Bologna.